检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过obsutil列举桶内全量对象时最终输出结果中还会包含对象的总的大小,如果通过列举操作返回的对象大小与通过控制台、OBSBrowser+工具查询的桶使用情况不一致时可以从如下两点进行排查: OBSBrowser+和控制台均通过调用获取桶存量信息接口查询当前桶内对象个数及对象占用
系统设置 通过“系统设置”设置OBS Browser+工具的参数。 支持设置任务运行的最大并发数为1~50。 支持设置上传和下载段的大小为9M~5120M。 支持设置OBS Browser+的语言切换。 支持设置工具的代理。 任务管理 任务管理器主要是对批量任务的执行状态进行
批量删除对象(Python SDK) 功能说明 为节省空间和成本,您可以根据需要删除指定桶中的多个对象。 OBS本身没有文件夹概念,桶中存储的元素只有对象。工具和控制台看到的目录实际上是一个大小为0且对象名以“/”结尾的对象。删除文件夹需列举目录前缀下的所有对象再调用批量删除接口。 批量删除对象特
如果处理完某个可能原因仍未解决问题,请继续排查其他可能原因。 图1 删除桶失败排查思路 表1 排查思路 可能原因 处理措施 本地网络故障 检查本地与OBS之间的网络是否正常,如果存在网络故障,解决网络故障,确保网络正常。 桶内对象未全部删除 请参考删除桶内对象。 桶内已删除对象未彻底删除 请参考彻底删除桶内已删除对象。
查询桶列表时同时查询桶的存储类型。 j 附加参数,可选,必须与sc参数搭配使用才有意义 查询桶存储类型时的最大并发数,默认为配置文件中的defaultJobs。 说明: 工具会保证该值至少为1。 du 附加参数,可选 快速返回所列举对象的总大小,不显示具体的对象信息,可与其他参数配合使用。 说明: 此参数在列举桶时无效,仅在列举对象时生效。
cp_{failed}_report_时间_TaskId.txt,该文件中有各失败任务的详细错误信息。 同时还可以参考util工具的日志信息查看工具执行过程中记录的错误信息,为定位问题建议指定日志级别为DEBUG级别,具体设置方式及日志路径设置方式可参考日志文件。 父主题: 常见问题
第一次运行obsutil后,工具会对AK进行加密以保护密钥安全。 N/A sk 可选 访问密钥中的SK。当配置了autoChooseSecurityProvider为true时可选。 说明: 您可以从这里进入访问密钥管理界面; 第一次运行obsutil后,工具会对SK进行加密以保护密钥安全。
不同方式支持的操作系统、迁移数据量、操作简易程度存在差异,推荐您使用obsutil工具进行数据迁移。 为了节省您的开支,建议您配置内网DNS,通过华为云内网完成数据迁移。具体配置方法,请参见通过内网访问OBS。 表1 OBS提供的数据迁移工具 工具 支持的操作系统类型 (支持的具体版本参考对应方式的指导文档)
桶内的对象。 说明: 设置该值时,建议均以“/”结尾。 ac 附加参数,可选 提取码。 说明: 如果未使用该参数传入提取码,obsutil工具会以交互模式提示输入提取码。 提取码必须为6位。 vp 附加参数,可选 授权码的有效期,以当前时间为基准,默认值为1天,代表生成的授权码将在1天后变为无效。
OBS Browser+工具指南 obsutil obsutil是一款用于访问管理OBS的命令行工具,您可以使用该工具对OBS进行常用的配置管理操作。对于熟悉命令行程序的用户,obsutil是执行批量处理、自动化任务的不错选择。 obsutil工具指南 obsfs obsfs
境变量AccessKeyID和SecretAccessKey。 // 前端本身没有process对象,可以使用webpack类打包工具定义环境变量,就可以在代码中运行了。 // 您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support
txt"及日志路径下的日志文件。 j 附加参数,批量设置对象属性时可选 批量设置对象属性的最大并发数,默认为配置文件中的defaultJobs。 说明: 工具会保证该值至少为1。 config 附加参数,可选 运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 e 附加参数,可选
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
按指定的对象名前缀批量删除分段上传任务。 j 附加参数,批量删除分段上传任务时可选 批量删除分段上传任务的最大并发数,默认为配置文件中的defaultJobs。 说明: 工具会保证该值至少为1。 o 附加参数,可选 生成结果清单文件的文件夹,命令执行完成后,会在该文件夹下生成结果清单文件(可能包含成功结果和失败
创建ModelArts资源池:创建1个专属资源池。 3 基本配置 配置ModelArts和SFS Turbo间网络直通。 创建委托授权ModelArts云服务使用SFS Turbo。 配置ModelArts网络关联SFS Turbo。 配置SFS Turbo和OBS联动。 配置SFS Turbo数据自动导出到OBS桶。
敏感操作保护 在线解压 WORM 资源包升配 双端固定 上传回调 工具 OBS 2.0/3.0支持 OBS提供OBS Browser+、obsutil、obsfs等多种实用工具,满足不同场景下数据迁移和数据管理需求。 您可以通过上述工具,轻松完成OBS资源管理,包括:OBS桶创建,并行文件系统挂载,对象上传下载等。
如果以“file://”开头,则表明授权码是从本地文件中获取。 ac 附加参数,可选 提取码。 说明: 如果未使用该参数设置提取码,obsutil工具会以交互模式提示输入提取码; 提取码必须为6位。 prefix 附加参数,可选 使用授权码列举对象时的对象名前缀。 说明: 如果该值不为空,其必须是授权码中授权路径的子集。
境变量AccessKeyID和SecretAccessKey。 // 前端本身没有process对象,可以使用webpack类打包工具定义环境变量,就可以在代码中运行了。 // 您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support
上传示例 本章节案例中的所有命令均以Linux操作系统为例,提供上传操作指导。 假设本地文件夹的格式如下: └── src1 ├── src2 ├── test1.txt └── test2.txt ├── src3 └──
准备环境 使用obsutil前您需要执行注册云服务账号、开通OBS服务以及获取访问密钥(AK和SK)等环境准备操作。 注册云服务账号 使用OBS之前必须要有一个云服务账号。 打开浏览器。 登录公有云网站www.huaweicloud.com。 在页面右上角单击“注册”。 按需填写注册信息并单击“同意协议并注册”。