倚天剑术68--使用S3协议管理对象存储

背景

S3协议相信很多人和我之前一样都不太了解，但现在笔者发现S3很重要。S3协议是Amazon Simple Storage Service (S3) 的API接口规范，现已成为对象存储的事实标准接口。下面让我们看看大厂对于S3协议进行对象管理的态度吧。

图：阿里云的提供的对象存储服务

图：华为云提供的对象存储服务

大厂们的态度已经表明了一切，华为的对象存储服务（OBS）和阿里的对象存储（OSS）其实是一个东西，都是基于S3协议把大量文件进行云端存储的服务。这种服务和百度网盘等等完全不同，他们可以提供API，让用户通过API对云端文件进行管理，而API就是基于S3协议。DESK是为数不多的支持对象存储的客户端工具，各种信创环境下那就更加稀缺了。

DESK管理对象存储

使用DESK管理对象存储非常简单，大家只需点击“资源管理”/“客户端”菜单，然后创建一个S3的连接。

连接创建完成之后，大家就可以通过双击鼠标进入对象管理。所谓的对象管理，其实就是一个基于网络的文件管理，支持文件的上传、下载、创建目录、删除等等文件操作。

看到这里大家可能会说，S3这东西和FTP好像啊。的确从表面上看的确非常类似，但不同的地方就是API层面，s3 协议的 API 非常易于文件操作，举个例子来说：

在StarRocks数据库中，可以通过S3协议，从parquet文件中直接用SQL查询数据，显然FTP协议不行吧。

SELECT * FROM FILES
(
    "aws.s3.endpoint" = "http://192.168.122.200:6901",
    "path" = "s3://starrocks/user_behavior_ten_million_rows.parquet",
    "aws.s3.enable_ssl" = "false",
    "aws.s3.access_key" = "UUUUU",
    "aws.s3.secret_key" = "XXXXXXXXXX",
    "format" = "parquet",
    "aws.s3.use_aws_sdk_default_behavior" = "false",
    "aws.s3.use_instance_profile" = "false",
    "aws.s3.enable_path_style_access" = "true"
)
LIMIT 5;

总结

S3协议是非常重要的文件对象管理协议。鉴于其灵活的API，很多分析型数据库如Starrock等等都支持从S3协议获取数据，因此基于S3的文件存储服务也逐步被华为、阿里等大厂采纳，相信后续在大数据环境中会越用越多。