检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前提条件 已在OBS服务中上传文件,并记录文件名、文件所在的OBS桶名,以及OBS地址的链接。 已配置具有OBS服务访问权限的委托,并记录委托名。
创建OBS桶 登录华为云官方网站,访问对象存储服务。 单击“进入控制台”进入对象存储服务管理控制台。 单击页面右上角的“创建桶”,根据需求选择桶规格后,单击“立即创建”。
文件导出速度受OBS服务的写入带宽上限影响,默认是16Gbit/s,如果大模型训练生成的Checkpoint文件过大、导出速度过慢,可提交工单申请调大OBS服务的写入带宽。 父主题: 基本配置
表1 OBS最佳实践一览表 最佳实践 说明 面向AI场景使用OBS+SFS Turbo的存储加速实践 针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案。
在ModelArts中进行AI全流程开发时,主要包括存储费用、资源费用。如果不再使用ModelArts,需要停止/删除ModelArts中运行的服务;删除在OBS中存储的数据;删除在EVS中存储的数据。
流程一览 操作步骤 在OBS服务中创建桶 在OBS服务控制台创建两个桶,一个用于上传待处理的数据对象,一个用于存储处理后的数据对象。桶的详细介绍参见创建桶。 数据输入桶:“piccomp” 数据处理后输出桶:“piccomp-output” 这里创建两个桶是为了防止无限循环。
快速入门 使用前需知 OBS服务环境搭建 开发环境准备 安装SDK 获取服务地址 初始化OBS客户端 创建桶 上传对象 下载对象 列举对象 删除对象 OBS客户端通用示例
下载OBS Browser OBS Browser已于2020年4月15日下线,相关功能已集成到新版客户端工具OBS Browser+中,请获取最新的OBS Browser+工具。给您带来不便敬请谅解。 父主题: 入门
问题定位方法 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。
OBS的服务端加密会收取加密的费用吗? OBS的SSE-KMS服务端加密方式除了收取存储的费用,还会在KMS服务侧产生KMS密钥请求费用。 OBS的SSE-OBS服务端加密方式和SSE-C服务端加密方式不会收取加密费用,只收取存储的费用。
设置桶的自定义域名 功能介绍 OBS使用PUT操作为桶设置自定义域名,设置成功之后,用户访问桶的自定义域名就能访问到桶。 必须保证此自定义域名通过DNS能够正确解析到OBS服务。 请求消息样式 1 2 3 4 5 6 7 PUT /?
快速入门 使用前需知 OBS服务环境搭建 服务地址 初始化SDK 初始化option 创建桶 上传对象 下载对象 列举对象 删除对象
图1 样例代码目录 创建函数 创建函数的时候,必须选择委托包含OBS访问权限的委托,否则不能使用OBS服务。 登录函数工作流控制台,在左侧导航栏选择“函数 > 函数列表”,进入函数列表界面。 单击“创建函数”,选择“创建空白函数”进入创建函数流程。 填写函数配置信息。
关于OBS并行导出 概述 GaussDB(DWS)数据库支持通过OBS外表并行导出数据:通过OBS外表设置的导出模式、导出数据格式等信息来指定导出的数据文件,利用多DN并行的方式,将数据从GaussDB(DWS)数据库导出到外部,存放在OBS对象存储服务器上,从而提高整体导出性能。
开通授权 本接口用于开通授权,由OBS服务自动帮助用户创建工作流运行时需要的函数服务权限,以及函数服务运行时的权限。 查询授权 本接口用于查询授权,查询由OBS服务自动帮助用户创建工作流运行时需要的函数服务权限,以及函数服务运行时的权限。
OBS服务:在数据集成或数据开发时,DataArts Studio会将脏数据或日志文件写入到OBS服务中,则会产生对象存储服务费用,收费标准请参见OBS价格详情。
备份文件存储到OBS会收取费用,具体可以参考OBS服务收费标准。 任务下发成功后,可以在任务中心查看任务执行情况。 父主题: 备份图和恢复图
MRS集群处理的数据源来源于OBS或HDFS,HDFS是Hadoop分布式文件系统(Hadoop Distributed File System),OBS(Object Storage Service)即对象存储服务,是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力
在需要用到OBS服务的头文件中导入OBS软件包。 #import <OBS/OBS.h> 运行Command+B命令确认OBS.framework编译通过。 父主题: 快速入门
CDM方式 云数据迁移(Cloud Data Migration,CDM)提供同构/异构数据源之间批量数据迁移服务。CDM通过创建定时作业,将用户自建存储服务器上的文件系统、数据库、对象存储等数据源与华为云OBS进行连接,从而实现定时、自动地将本地数据搬迁至OBS。