检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flume是一个分布式的、可靠的和高可用的服务，用于收集、聚合以及移动大量日志数据，具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差别的：HDFS租约机制可以保证并发写同一个文件时不
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后，训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存，无需手工导出，异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
新建文件夹 用户可通过OBS Browser+新建文件夹。 背景信息 由于OBS没有文件系统中的文件和文件夹概念。为了使用户更方便进行管理数据，OBS提供了一种方式模拟文件夹。通过在对象的名称中增加“/”，将该对象在管理控制台上模拟成一个文件夹的形式展现。 操作步骤 登录OBS Browser+。
同步下载示例 本章节案例中的所有命令均以Linux操作系统为例，提供同步下载操作指导。 假设bucket-test桶内包含如下对象： obs://bucket-test/src1/ obs://bucket-test/src1/test3.txt obs://bucket-test/src1/src2/
您可以通过回调，获取对象上传后的相关信息，例如获取对象是否上传成功，获取对象Etag、上传后大小、上传后对象所在桶等信息。OBS支持通过回调获取对象的系统参数和自定义参数，参数详情可参考API参考的回调章节。 图1 上传回调流程图 上传回调的详细流程如图1所示，主要分为以下几个阶段： 客户端发出上传对象请求，请求中携带回调参数。
上的策略。 要使用该接口，使用者要求必须是桶的所有者，或者是桶所有者的子用户且具有删除桶策略的权限。 无论桶的策略本身是否存在，删除成功后系统都直接返回“204 No Content”的结果。 请求消息样式 1 2 3 4 DELETE /?policy HTTP/1.1 Host:
配置SDK日志(Java SDK) OBS Java SDK基于Apache Log4j2开源库提供了日志功能，SDK默认会将WARN级别的日志记录到JDK系统变量user.dir所代表的路径下，您可以通过修改日志配置文件定制日志功能。 操作步骤 找到OBS Java SDK开发包中的log4j2
OBS性能优化建议 OBS按照对象名的UTF-8编码范围来进行分区管理，对系统进行水平扩展与动态负载均衡。如果用户在对象命名规则上使用了顺序前缀（如时间戳或字母顺序），可能导致大量对象的请求访问集中于某个特定分区，造成访问热点。热点分区上的请求速率受限，访问时延上升。 推荐使用随
求选择适合的方案上传数据至OBS，更多内容请参考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后，可以使用数据预热功能，以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS
我的数据存在OBS中，如何保证安全性？ OBS是非常安全的，提供端到端的安全服务。 保证数据正确性：系统会定期对数据做扫描，仅限于判断数据块是否存在和被损坏（如有损坏，会启动修复），且不会读取数据的具体内容。 防止数据被盗用： 访问桶或对象时，如果桶或对象未公开，只有桶或对象的拥
客户端。 要使用该接口，使用者要求必须是桶的所有者，或者是桶所有者的子用户且具有获取桶策略的权限。 以下两种场景无法使用此接口获取桶策略，系统将返回“404 NoSuchBucketPolicy”的错误： 指定桶的策略不存在 指定桶的标准桶策略为私有且未设置高级桶策略 请求消息样式
PP-1仅能访问APPClient/APP-1下的文件，APP-2仅能访问APPClient/APP-2下的文件。 配置步骤 使用账号登录华为云，在右上角单击“控制台”。 在控制台页面，鼠标移动至右上方的用户名，在下拉列表中选择“统一身份认证”。 创建一个IAM用户：APPServer。创建步骤请参见创建IAM用户。
拥有者默认永远拥有对象读取权限、ACL的读取和写入权限，且不支持修改。 须知： 不建议修改桶拥有者对桶的读取和写入权限。 匿名用户 未注册华为云的普通访客。 须知： 开启匿名用户的桶/对象访问权限后，所有人都可以在不经过身份认证的情况下，对桶/对象进行访问。 桶ACL的访问权限如表2所示：
huaweicloud.com/usermanual-ca/ca_01_0003.html。 ak := os.Getenv("AccessKeyID") sk := os.Getenv("SecretAccessKey") // 【可选】如果使用临时AK/SK和Se
素共同决定，与桶策略类似，详细请参见桶策略参数说明。其中资源为已选择的对象，系统自动配置。自定义创建的方法，可参见自定义创建桶策略（可视化视图），与自定义桶策略相比有如下两点区别： 资源不需要指定，系统默认指定为已选择对象。 配置的动作仅支持对象相关动作。 父主题： 权限控制
Windows操作系统 在指定桶内创建文件夹 obsutil mkdir obs://bucket/folder[/subfolder1/subfolder2] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] 在本地文件系统路径中创建文件夹
桶所有者可以完全控制对象。 例如，用户A上传对象x至用户B的桶中，系统默认用户B没有对象x的控制权。当用户A为对象x设置bucket-owner-full-control策略后，用户B就拥有了对象x的控制权。 系统默认权限控制策略为private权限。 在创建桶或上传对象时，可以
huaweicloud.com/usermanual-ca/ca_01_0003.html。 ak := os.Getenv("AccessKeyID") sk := os.Getenv("SecretAccessKey") // 【可选】如果使用临时AK/SK和Se
桶概述 桶（Bucket）是OBS中存储对象的容器。对象存储提供了基于桶和对象的扁平化存储方式，桶中的所有对象都处于同一逻辑层级，去除了文件系统中的多层级树形目录结构。 每个桶都有自己的存储类别、访问权限、所属区域等属性，用户可以在不同区域创建不同存储类别和访问权限的桶，并配置更多高级属性来满足不同场景的存储诉求。
初始化分段上传任务(Harmony SDK) 功能说明 使用多段上传特性时，用户必须首先调用创建多段上传任务接口创建任务，系统会给用户返回一个全局唯一的多段上传任务号，作为任务标识。后续用户可以根据这个标识发起相关的请求，如：上传段、合并段、列举段等。创建多段上传任务不影响已有的
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
