检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
务端加密。 如果桶配置了服务端加密,上传对象时您可以选择“继承桶的加密配置”。 可选:如果您需要配置元数据、WORM保留策略、对象标签,可单击“下一步:高级配置(可选)”进行配置。 当桶开启了WORM功能,高级配置才支持配置WORM保留策略。 配置元数据:可配置的对象元数据包括:
的能力,适合存放任意类型的文件,适合普通用户、网站、企业和开发者使用。OBS是一项面向Internet访问的服务,提供了基于HTTP/HTTPS协议的Web服务接口,用户可以随时随地连接到Internet,通过OBS管理控制台或各种OBS工具访问和管理存储在OBS中的数据。此外,OBS支持SDK和OBS
设置访问日志 日志简介 开启桶日志 查看桶日志配置 关闭桶日志
设置访问日志 日志简介 开启桶日志 查看桶日志配置 关闭桶日志
设置访问日志 日志简介 开启桶日志 查看桶日志配置 关闭桶日志
OBS数据安全 OBS安全配置建议 减少因误操作导致的数据丢失风险
果使用桶策略则需授予ListBucketMultipartUploads权限。相关授权方式介绍可参见OBS权限控制概述,配置方式详见使用IAM自定义策略、配置对象策略。 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 您必须得到可以对桶执行L
机器的时间与NTP服务不同步); 404 Not Found 请求的资源不存在 桶不存在; 对象不存在; 桶的策略配置不存在(桶CORS配置不存在、桶Policy配置不存在等); 分段上传任务不存在; 405 Method Not Allowed 请求的方法不支持 请求的方法/特性未在该桶所在的区域上线
它把文件和目录的列表作为map任务的输入,每个任务会完成源列表中部分文件的拷贝。 配置指南 参考Hadoop对接OBS中hadoop-huaweicloud的安装和配置方法,完成OBS相关配置。 使用示例 以迁移HDFS上的“/data/sample”目录为例,执行以下命令查看
机器的时间与NTP服务不同步)。 404 Not Found 请求的资源不存在 桶不存在; 对象不存在; 桶的策略配置不存在(桶CORS配置不存在、桶Policy配置不存在等); 分段上传任务不存在。 405 Method Not Allowed 请求的方法不支持 请求的方法/特性未在该桶所在的区域上线。
单个结果清单文件默认情况下最大为30MB且最大可保留的文件个数为1024,可在配置文件中通过recordMaxLogSize和recordBackups分别配置。 j 附加参数,批量恢复cold存储对象时可选 批量恢复cold存储对象的最大并发数,默认为配置文件中的defaultJobs。 说明: 工具会保证该值至少为1。
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
附加参数,可选 每个分段上传任务的段大小,单位:字节,取值范围是100KB~5GB,默认为配置文件中的defaultPartSize。 说明: 支持带容量单位配置,例如,配置1MB代表1048576字节。 支持配置为auto,此时obsutil会根据源文件大小自动设置每个分段任务的段大小。 cpd
相关操作 libfuse安装指导
agePolicy权限,如果使用桶策略则需授予PutBucketStoragePolicy权限。相关授权方式介绍可参见OBS权限控制概述,配置方式详见使用IAM自定义策略、自定义创建桶策略。 OBS支持的region以及region与endPoint的对应关系,详细信息请参见地区与终端节点。
辅助命令 更新配置文件 删除断点记录文件 查看命令帮助 查看版本号 归档日志文件 列举失败结果清单文件
指定以自定义格式打印列举结果。当前仅支持值[default],指定列举结果在一行显示。 config 附加参数,可选 运行当前命令时的自定义配置文件,可支持的配置参数请参考 配置参数说明。 e 附加参数,可选 指定终端节点。 i 附加参数,可选 指定用户的AK。 k 附加参数,可选 指定用户的SK。
如何使用请参见使用VPCEP访问OBS,配合使用优点如下: 在访问对象存储时会选择更优的流量路径,能支持更大的峰值带宽。 可以支持配置VPC访问配置,提升对象存储访问的安全性。 购买VPCEP终端节点的影响: 在购买VPCEP终端节点后,由于流量路径的切换会导致后端处理请求的节点
), secret_access_key=os.getenv("SecretAccessKey"), server='https://your-endpoint' ) # 查询工作流 try: resp = workflowClient.getWorkflow('graphName')
bucket 必选 桶名。 f 附加参数,可选 强制操作,不进行询问提示。 config 附加参数,可选 运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 e 附加参数,可选 指定终端节点。 i 附加参数,可选 指定用户的AK。 k 附加参数,可选 指定用户的SK。