检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
列举接口是否支持保存结果到本地文件 obsutil工具本身的列举相关操作不支持直接将结果保存在本地文件,但是可以通过操作系统提供的重定向操作实现将列举结果从屏显的标准输出重定向到指定的本地结果文件中;以列举桶内对象为例: Windows操作系统(在命令行cmd下执行该重定向操作)
如果您觉得数据集规模较小或数据集变化不太频繁,不需要通过数据联动来做数据导入导出,您可借助外部工具将数据从OBS迁移到SFS Turbo中,操作指导请参考OBS和SFS之间的数据迁移,推荐使用obsutil工具。 父主题: 训练
种情况下如果直接使用AK、SK登录,由于缺乏获取桶列表等操作的权限,会导致登录时提示权限不足。 解决办法: 针对以上场景,Browser+工具支持您在登录时指定访问路径,访问路径的格式为:obs://bucketName/folder。 父主题: 常见问题
OBS是否支持批量删除对象或清空桶? OBS管理工具批量删除功能的支持情况: 表1 OBS管理工具批量删除功能 工具 批量删除 管理控制台 支持,一次批量删除的对象数最多为100个,如果选择文件夹,只能单个删除文件夹。 详情请参见删除对象或文件夹。 还可以使用生命周期规则批量删除
资源准备 使用obsfs之前,您需要完成如表1所示的资源准备。 表1 资源准备 资源项 说明 操作指导 华为账号 账号是您访问华为云的主体,可以管理IAM用户、访问密钥及OBS并行文件系统等obsfs需要的资源,使用obsfs之前,您需要拥有一个已成功开通OBS的账号。 注册华为账号并开通华为云
批量删除对象(Python SDK) 功能说明 为节省空间和成本,您可以根据需要删除指定桶中的多个对象。 OBS本身没有文件夹概念,桶中存储的元素只有对象。工具和控制台看到的目录实际上是一个大小为0且对象名以“/”结尾的对象。删除文件夹需列举目录前缀下的所有对象再调用批量删除接口。 批量删除对象特
conf └── README.md 方式三:源码使用setuptools工具安装 以安装OBS Python SDK最新版本为例。 下载OBS Python SDK开发包并解压。 下载和安装setuptools工具。 命令行切换到SDK开发包解压目录下的src文件夹。 运行python
任务同时运行的最大数量,默认是3,取值范围是:1~50。 单任务最大并发数 每个任务的分段最大并发数,默认是3,取值范围是:1~50。 自动调整段大小 工具会根据源文件/对象大小自动设置每个分段任务的段大小,默认选中。 上传段大小 开启分段任务的阈值,如果待上传的文件大于该阈值,则采用分段任务
obsClient.initLog({ level:'warn', // 配置日志级别 }); SDK打印的日志均会显示在浏览器提供的开发者工具的控制台上。 日志功能默认是关闭的,需要主动开启。 您可以从日志分析章节获取更多关于SDK日志的信息。 父主题: 初始化
securitytoken:与临时访问密钥ID和临时秘密访问密钥结合使用,可以访问指定账号下所有资源。 当使用如下工具访问OBS资源时,需配置AK/SK用于生成鉴权信息进行安全认证。 表1 OBS资源管理工具 工具 AK/SK配置方式 OBS Browser+ 在配置登录账号时配置AK和SK,详情请参见登录OBS
在欧洲地区有业务的用户,可以选择“欧洲-巴黎”区域。 云服务之间的关系 如果多个云服务一起搭配使用,需要注意: 不同区域的弹性云服务器、关系型数据库、对象存储服务内网不互通。 不同区域的弹性云服务器不支持跨区域部署在同一负载均衡器下。 资源的价格 不同区域的资源价格可能有差异,请参见华为云服务价格详情。
环境准备是指为了您能顺利完成SDK的安装、完成基于SDK的代码开发与运行,需要提前在本地完成开发环境的搭建,比如下载安装依赖软件、安装开发工具等。 准备华为账号 使用OBS之前您必须要有一个华为账号。申请华为账号步骤详见:注册华为账号并开通华为云。 准备访问密钥 OBS通过用户账
统计文件夹大小会收取“列举桶内对象”接口的调用费用,详情请参考计费说明。 约束与限制 支持统计对象数量在100万以内的文件夹,对象数量超过100万的文件夹建议使用obsutil工具的列举对象命令进行统计。 统计对象数量较多的文件夹时,可能需要一定的时间,请您耐心等待。 使用方式 OBS支持通过控制台、obsutil方
OBSFileSystem插件(OBSA-HDFS) 其他OBS工具 您可以使用OBS提供的其他工具来使用并行文件系统,例如:obsutil、OBS Browser+等,并行文件系统不支持与s3fs搭配使用。 OBS工具 并行文件系统计费标准 并行文件系统与对象桶的计费规则一致,同
开发环境准备是让您能顺利完成SDK的安装、完成基于SDK的代码开发与运行,需要提前在本地完成的开发环境搭建,比如下载安装依赖软件、安装开发工具等。 准备华为账号 使用OBS之前您必须要有一个华为账号。申请华为账号步骤详见:注册华为账号并开通华为云。 准备访问密钥 OBS通过用户账
环境准备是指为了您能顺利完成SDK的安装、完成基于SDK的代码开发与运行,需要提前在本地完成的开发环境搭建,比如下载安装依赖软件、安装开发工具等。 准备华为账号 使用OBS之前您必须要有一个华为账号。申请华为账号步骤详见:注册华为账号并开通华为云。 准备访问密钥 OBS通过用户账
示例2:给用户授予OBS控制台的所有权限 此策略表示用户可以在控制台对OBS进行所有操作。 由于用户登录OBS控制台时,会访问一些其他服务的资源,如CTS审计信息,CDN加速域名,KMS密钥等。因此除了配置和示例1同样的OBS权限外,还需要配置其他服务的访问权限。其中CDN属于全局服务,CTS、
Browser+ 操作步骤 单击OBS Browser+工具的下载链接下载该工具。 解压下载的软件包。 运行“obs-browser-plus Setup xxx.exe”完成OBS Browser+工具安装。“xxx”为OBS Browser+工具的版本号。 在开始菜单或者桌面快捷方式中双击
碎片管理 背景信息 对象存储服务采用分块上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生垃圾数据,因此需要清理这些碎片数据来释放空间。 网络条件较差,与OBS 对象存储的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。
通过obsutil列举桶内全量对象时最终输出结果中还会包含对象的总的大小,如果通过列举操作返回的对象大小与通过控制台、OBSBrowser+工具查询的桶使用情况不一致时可以从如下两点进行排查: OBSBrowser+和控制台均通过调用获取桶存量信息接口查询当前桶内对象个数及对象占用