检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
列举示例 本章节案例中的所有命令均以Linux操作系统为例，提供列举操作指导。 假设bucket-test桶内包含如下对象： obs://bucket-test/test1.txt obs://bucket-test/test2.txt obs://bucket-test/test3
的段大小。 fs 附加参数，可选 是否使用并行文件系统的列举方式，如果桶是并行文件系统，推荐加上该参数。 注意： 该列举方式会因为目录结构，耗时会差别很大。 该参数开启后，会忽略marker和limit值，统计桶或者并行文件系统或者指定目录的大小。 Util 5.5.12版本及以上支持该参数。
象，提高删除效率。 对于并行文件系统目录，大数据场景下（目录层级深、目录下文件多）的删除，可能会因超时而删除失败，建议使用： hadoop 客户端（嵌套OBS客户端插件OBSA）删除目录：hadoop fs - rmr obs://{并行文件系统名}/{目录名}。 给目录配置生命周期，通过生命周期后台删除。
ak = os.getenv("AccessKeyID") sk = os.getenv("SecretAccessKey") # 【可选】如果使用临时AKSK和SecurityToken访问OBS，则同样推荐通过环境变量获取 # security_token = os.getenv("SecurityToken")
SDK生成的日志文件路径是通过Log4Net.config配置文件指定的，一般将该配置文件放于工程编译生成的可执行文件所在目录。 日志级别 当系统出现问题需要定位且当前的日志无法满足要求时，可以通过修改日志的级别来获取更多的信息。其中DEBUG日志信息最丰富，ERROR日志信息最少。
--trusted-host pypi.org命令执行安装。 如果您的环境尚未安装pip，请参见pip官网安装。 如果您使用的是Windows操作系统，当运行pip命令时提示“不是内部或外部命令”，请在Path环境变量中增加pip的安装目录（一般为Python所在目录的Scripts文件夹）。
obsutil是一款命令行工具，对于熟悉命令行的用户，obsutil能在执行批量处理、自动化任务的场景中为您带来更优体验。 本章节以Linux操作系统为例，以上传一个文件至“bucket-test”桶为例，帮助您快速通过obsutil使用OBS的基础功能，包括创建桶、上传对象、下载对象、分享对象。
恢复对象任务状态一直是恢复中 OBS Browser+中任务数量达到了百万级别及以上，系统会处于海量查找的状态中，因批量恢复的对象数量较多，browser+在这种数量级的恢复请求下，获取真实的恢复状态会很慢，实际恢复请求已经成功。建议通过服务端或者其他途径进行查询对象的实际状态，
同步复制示例 本章节案例中的所有命令均以Linux操作系统为例，提供同步复制操作指导。 假设源桶bucket-src内包含如下对象： obs://bucket-src/src1/ obs://bucket-src/src1/test3.txt obs://bucket-src/src1/src2/
求选择适合的方案上传数据至OBS，更多内容请参考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后，可以使用数据预热功能，以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后，训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存，无需手工导出，异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
资源池：专属资源池，选择创建资源中创建的ModelArts资源池。 SFS Turbo：增加挂载配置，选择创建资源中创建的SFS Turbo HPC型文件系统。 图1 创建训练作业参数 单击“提交”，完成训练作业的创建。 训练作业创建完成后，后台将自动完成容器镜像下载、代码目录下载、执行启动命令
同步上传示例 本章节案例中的所有命令均以Linux操作系统为例，提供同步上传操作指导。 假设本地文件夹的格式如下： └── src1 ├── src2 ├── test1.txt └── test2.txt ├── src3
OBS_BUCKET_PFS 并行文件系统。 表8 obs_bucket_list_type 枚举值 说明 OBS_BUCKET_LIST_ALL 列举所有桶。 OBS_BUCKET_LIST_OBJECT 列举所有对象桶。 OBS_BUCKET_LIST_PFS 列举所有并行文件系统。 表9 temp_auth_configure
OBS_BUCKET_PFS 并行文件系统。 表8 obs_bucket_list_type 枚举值 说明 OBS_BUCKET_LIST_ALL 列举所有桶。 OBS_BUCKET_LIST_OBJECT 列举所有对象桶。 OBS_BUCKET_LIST_PFS 列举所有并行文件系统。 表9 temp_auth_configure
OBS_BUCKET_PFS 并行文件系统。 表8 obs_bucket_list_type 枚举值 说明 OBS_BUCKET_LIST_ALL 列举所有桶。 OBS_BUCKET_LIST_OBJECT 列举所有对象桶。 OBS_BUCKET_LIST_PFS 列举所有并行文件系统。 表9 temp_auth_configure
OBS_BUCKET_PFS 并行文件系统。 表7 obs_bucket_list_type 枚举值 说明 OBS_BUCKET_LIST_ALL 列举所有桶。 OBS_BUCKET_LIST_OBJECT 列举所有对象桶。 OBS_BUCKET_LIST_PFS 列举所有并行文件系统。 表8 obs
huaweicloud.com/usermanual-ca/ca_01_0003.html。 var ak = os.Getenv("AccessKeyID") var sk = os.Getenv("SecretAccessKey") var endpoint = "https://your-endpoint"
OBS_BUCKET_PFS 并行文件系统。 表8 obs_bucket_list_type 枚举值 说明 OBS_BUCKET_LIST_ALL 列举所有桶。 OBS_BUCKET_LIST_OBJECT 列举所有对象桶。 OBS_BUCKET_LIST_PFS 列举所有并行文件系统。 表9 temp_auth_configure
初始化分段上传任务(Harmony SDK) 功能说明 使用多段上传特性时，用户必须首先调用创建多段上传任务接口创建任务，系统会给用户返回一个全局唯一的多段上传任务号，作为任务标识。后续用户可以根据这个标识发起相关的请求，如：上传段、合并段、列举段等。创建多段上传任务不影响已有的
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
