检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题: 大数据场景下使用OBS实现存算分离
减少因误操作导致的数据丢失风险 华为云无法恢复您主动删除、覆盖、配置规则自动删除或服务协议到期自动删除的OBS数据。为了避免误删操作导致业务无法正常运行,本文提供了几种规避方式,您可结合自身业务选择合适的方案。 以下建议并不等同完整的安全解决方案,可能不适合您的环境或不满足您的环
下载对象(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 本示例用于下载桶名为“examplebucket”里,名称为“example/objectname”的对象。 代码示例如下所示: 1 2
上传对象-获取上传进度(Python SDK) 支持获取上传进度的接口包括:流式上传、文件上传、上传段、追加上传和断点续传上传。 本示例用于通过设置回调函数来获取上传对象的进度。 示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
下载对象-获取下载进度(Python SDK) 支持获取下载进度的接口包括:二进制式下载,流式下载、文件下载和断点续传下载。 本示例用于获取下载对象的进度。 示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
SDK自定义错误(Go SDK) 功能说明 调用ObsClient的相关接口发生错误时,通常会返回SDK自定义错误,其包含服务端返回的HTTP状态码、OBS错误码、错误信息等,便于用户定位问题,并做出适当的处理。 类型定义 type ObsError struct 参数描述 字段名
依赖缺失和依赖冲突的解决(Java SDK) 依赖缺失和依赖冲突是 Java 开发中的常见问题,在集成 SDK 的过程中也会遇到,在应用编译和运行时报错 ClassNotFoundException 与 NoClassDefFoundError 时可怀疑是否是依赖问题而导致,针对不同情况参照下述步骤进行排查和解决。
静态网站托管简介(Java SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 您可以将静态网站文件上传至OBS的桶中作为对象,并对这些对象赋予公共读权限,然后将该桶配置成静态网站托管模式,以实现在OBS上托管静态网站的
我的OBS桶性能是否会受其他用户业务的影响? 不会。 OBS对不同的桶之间做了隔离,多个桶之间不会相互影响存储性能。 OBS对不同账号的访问做了性能隔离,不同账号之间不会出现性能干扰或影响。 父主题: 产品咨询
如何确认我已创建的桶是私有、公共读还是公共读写? 操作步骤 在OBS管理控制台左侧导航栏选择“桶列表”。 桶列表支持按照“桶策略”进行筛选,您可以单击参数后的按钮,勾选“桶策略”进行筛选。 图1 查看桶策略 父主题: 权限相关
获取账号、IAM用户、项目、用户组、区域、委托的名称和ID 获取账号、IAM用户、项目的名称和ID 从控制台获取账号名、账号ID、用户名、用户ID、项目名称、项目ID 在华为云首页右上角,单击“控制台”。 在右上角的用户名中选择“我的凭证”。 图1 进入我的凭证 在“我的凭证”界
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
配置SDK日志(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 OBS Node.js SDK基于log4js开源库提供了日志功能,您可以通过ObsClient.initLog开启日志功能并进行配置。代码示例如下:
SDK公共结果对象(Node.js SDK) 调用ObsClient的相关接口完成后,如果未发生异常,则均会返回公共结果对象。该对象包含的内容见下表: 参数名称 参数类型 描述 CommonMsg Object 接口调用完成后的公共信息,包含HTTP状态码,操作失败的错误码等。 -
对象管理方法介绍 OBS Browser支持以下三种方式管理对象。 通过对象列表上方的操作按钮管理对象。 单击待操作对象所在行,选择对象列表上方的操作按钮管理对象,如图1所示。 图1 对象管理第一种方法 通过对象所在行右侧的操作按钮管理对象。 单击待操作对象所在行右侧的操作按钮管理对象,如图2所示。
移动文件或文件夹 移动文件或文件夹的实现方式:复制文件或文件夹到指定位置,然后删除原有文件或文件夹。 批量移动文件数量超过万级别时,建议使用obsutil工具,详见复制对象和删除对象。 前提条件 用户需要有待操作文件的ACL读写权限。 操作步骤 登录OBS Browser。 选中待配置的桶,进入桶界面。
删除文件或文件夹 用户可根据需要删除已有文件或文件夹。 背景知识 删除文件夹时,文件夹内的文件也将同时被删除,请务必确认这些文件可以被删除。 删除无用的文件或文件夹可节省空间和成本。 用户上传到OBS的某些文件,可能需要定期删除,对于这类删除文件的场景,可通过OBS的生命周期管理
业务部门之间桶资源隔离 按照给业务部门授予独立的资源权限的场景配置,虽然可以实现不同部门用户只能访问本部门的资源,但是每个用户都可以看到企业账号下的所有桶资源,无法做到只能看到自己部门的桶。本节介绍如何通过OBS Browser+添加外部桶的方式实现业务部门之间桶资源隔离。 场景假设
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。