检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基于对象存储服务作为统一数据湖存储的大数据场景 并行文件系统使用方式 并行文件系统提供管理控制台、OBSFileSystem插件（OBSA-HDFS）以及RESTful API接口的使用方法。用户可以在任何时间和地点对存储在并行文件系统内的文件进行处理，并且可以快速获取到处理后的文件。 用户可以通过以下几种方式使用并行文件系统。
创建并行文件系统 用户可以通过控制台创建并行文件系统。 操作步骤 在管理控制台首页，选择“服务列表 > 存储 > 对象存储服务”。 选择左侧导航栏的“并行文件系统”，进入并行文件系统控制台。 单击界面右上角的“创建并行文件系统”，进入创建页面。 图1 创建并行文件系统 (可选）复制并行文件系统配置。
多段操作接口 接口 并行文件系统是否兼容 差异说明 列举桶中已初始化多段任务 √ - 初始化上传段任务 √ - 上传段 √ - 拷贝段 √ 不支持对追加写过的文件执行拷贝段操作。 列举已上传的段 √ - 合并段 √ - 取消多段上传任务 √ - 并行文件系统权限配置 并行文件系统的权限配置
断点续传上传(Java SDK) 功能说明 断点续传上传是对分段上传的封装和加强，解决上传大文件时由于网络不稳定或程序崩溃导致上传失败的问题。其原理是将待上传的文件分成若干个分段分别上传，并实时地将每段上传结果统一记录在checkpoint文件中，仅当所有分段都上传成功时返回上传成功
下载文件或文件夹 用户可根据需要将存储在OBS上的文件或文件夹下载到本地。 操作步骤 登录OBS Browser+。 选中待配置的桶，选中需要下载的文件或文件夹后，单击“下载”。 OBS支持批量下载多个文件和文件夹，单击选中待下载的文件或文件夹即可。 对于存储类别为归档存储的桶中
统计文件夹中的对象数量和大小 如果您需要统计桶中文件夹的大小及其所含对象数量，可以使用文件夹统计功能。 统计文件夹大小会收取“列举桶内对象”接口的调用费用，详情请参考计费说明。 约束与限制 支持统计对象数量在100万以内的文件夹，对象数量超过100万的文件夹建议使用obsutil工具的列举对象命令进行统计。
其他任何人都没有访问权限。 默认情况下，上传对象至其他用户的桶中，桶拥有者没有对象的控制权限。对象拥有者为桶拥有者添加此权限控制策略后，桶所有者可以完全控制对象。例如，用户A上传对象x至用户B的桶中，系统默认用户B没有对象x的控制权。当用户A为对象x设置bucket-owner-
文件下载 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 以下代码展示了如何进行文件下载： // 创建ObsClient实例 var obsClient = new ObsClient({
移动文件或文件夹 用户可根据需要将存储在OBS上的文件或文件夹移动到其他路径下。 操作步骤 登录OBS Browser+。 选中待配置的桶，右键单击需要移动的文件或文件夹，并选择“移动”。 选择存放文件或文件夹的路径后，单击右键并选择“粘贴”。 不支持移动外部桶中的文件或文件夹。
有分段都上传成功时返回上传成功的结果，否则在回调函数中返回错误码提醒用户通过传入断点续传记录对象再次调用接口进行重新上传。 断点续传上传接口传入的文件总大小至少要100K以上。 浏览器刷新网页后，断点续传会失效，需重新上传文件。 您可以通过ObsClient.uploadFile
作为对象存储服务的子产品，并行文件系统支持用户按照标准的OBS接口读取数据。也支持通过部署在弹性云服务器中的PFS客户端（obsfs工具），按照POSIX文件语义读写数据；通过obsfs用户可以将创建的并行文件系统挂载到云端Linux服务器上，并能像操作本地文件系统一样对并行文件系统内的文件和目录进行
复制文件或文件夹 用户可根据需要将存储在OBS上的文件或文件夹复制到其他路径下。 操作步骤 登录OBS Browser+。 选中待配置的桶，右键单击需要复制的文件或文件夹，并选择“复制”。 选择存放文件或文件夹的路径后，单击右键并选择“粘贴”。 不支持复制外部桶中的文件或文件夹。
源。 文件上传：使用本地文件作为对象的数据源。 分段上传：对于较大文件上传，可以切分成段上传。 追加上传：对同一个对象追加数据内容。 断点续传上传：对分段上传的封装和加强，解决上传大文件时由于网络不稳定或程序崩溃导致上传失败的问题。 基于表单上传：使用HTML表单形式上传对象到指定桶中。
单击想要上传文件或文件夹的桶。 单击“上传”，并选择“添加文件”或“添加文件夹”，如图4所示。 图4 上传文件或文件夹 使用“添加文件”功能上传对象时，为了更好的体验，建议您最多同时选择100个文件进行上传，如果超过此限制，建议将多个文件放在文件夹中，然后使用“添加文件夹”功能进行上传。
是否支持统计文件夹内的文件数目及大小 OBS Browser+不支持统计文件夹内的文件数目及大小，可以使用obsutil列举对象命令，指定前缀为需要查看的文件夹进行列举。 以Linux操作系统为例，运行./obsutil ls obs://bucket-test/test/ -du
分段上传 开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 对于较大文件上传，可以切分成段上传。用户可以在如下的应用场景内（但不仅限于此），使用分段上传的模式： 上传超过100MB大小的文件。
txt 递归上传本地src1文件夹中的所有文件和文件夹（包括src1文件夹本身）至bucket-test桶的src文件夹下，且上传过程中不进行询问操作，命令如下： ./obsutil cp /src1 obs://bucket-test/src -r -f 成功上传后，桶内生成对象为：
如果您的业务对数据存储的安全性和合规性有较高要求，可使用OBS提供的服务端加密功能，对上传到OBS存储的数据进行加密保护。服务器端加密是指OBS服务端对客户端上传到OBS的对象进行加密存储。在访问对象时，由OBS服务端对文件进行解密，然后向客户端返回解密后的数据。 OBS支持SSE-KMS、SSE-OBS、SSE-C三种加密方式：
象： 流式上传 文件上传 分段上传 追加上传 断点续传上传 基于表单上传 SDK支持上传0KB~5GB的对象。流式上传、文件上传和追加上传的内容大小不能超过5GB；当上传较大文件时，请使用分段上传，分段上传每段内容大小不能超过5GB；基于表单上传提供了基于浏览器表单上传对象的方式。
操作场景 示例场景：每天21:30进入/root目录下，执行增量上传/src/src1文件夹到obs://bucket-test桶内。 前提条件 必须在Linux操作系统下，并且正常开启了crond（定时任务计划）服务。如果是windows用户请参考配置windows定时任务。 运行service
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
