检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
先完成服务环境的准备和开发环境的准备。服务环境准备包括准备华为账号和访问密钥,是使用SDK与OBS云服务交互的必要条件。开发环境准备是让您能顺利完成SDK的安装、完成基于SDK的代码开发与运行,需要提前在本地完成的开发环境搭建,比如下载安装依赖软件、安装开发工具等。 准备华为账号
完成服务环境的准备和开发环境的准备。服务环境准备包括准备华为账号和访问密钥,是使用SDK与OBS云服务交互的必要条件。开发环境准备是指为了您能顺利完成SDK的安装、完成基于SDK的代码开发与运行,需要提前在本地完成的开发环境搭建,比如下载安装依赖软件、安装开发工具等。 准备华为账号
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
配置ModelArts网络关联SFS Turbo ModelArts网络关联SFS Turbo后,可直接在ModelArts的Notebook开发及训练环境中挂载SFS Turbo共享文件系统,并访问其中的数据。 登录ModelArts管理控制台,创建网络并打通创建资源中创建的创建虚
Service,CTS)等。 OBS可以作为其他云服务的数据分析学习的数据源,例如MapReduce服务 (MapReduce Service,MRS), AI开发平台ModelArts等。
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”,进入“训练作业”列表。 单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击
技术支持渠道(C SDK) 开发者社区提供的技术支持渠道如下: 开发过程中,您有任何问题可以在华为云对象存储服务论坛中发帖求助。
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 下载ImageNet21K数据集,并上传ImageNet21K数据集至OBS,详细操作指导请参考上传数据至OBS。 OBS针对不同场景提供了多种数据上云方案,您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS,更多内容请参考数据上云方案。
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
同时,我们针对不同语言的SDK提供了开发指南和API参考。开发指南详细介绍了SDK的安装、开发操作、参数、示例和常见问题处理,API参考提供了各API的所有参数及定义。OBS提供了以下主流语言SDK供开发者使用: 语言 SDK开发指南 API参考 Java Java SDK开发指南 - Python
初始化客户端之前,您需要先完成以下几项准备工作: 使用前须知(Java SDK):了解并选择合适的SDK版本。 使用前准备(Java SDK):完成服务环境和开发环境准备。 下载与安装SDK(Java SDK):下载SDK并完成安装。 注意事项 客户端在创建时必须同步完成客户端配置,配置机会仅有一次
配置桶允许跨域请求 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 要使用OBS BrowserJS SDK访问OBS服务的桶,必须配置该桶允许跨域请求(桶的CORS),推荐为桶的CORS配置的规则如下:
提供该Android/iOS应用的开发者开发的APP后台服务,用于管理凭证信息以及发放预签名URL。 对象存储服务(OBS) 华为云对象存储服务,负责处理移动应用的数据请求。 实施步骤 配置应用服务器。 获取SDK开发包。 请在各语言的SDK开发指南中获取。 生成预签名URL的代码。
技术支持渠道 您可以通过关键字在左侧搜索框中搜索本产品的文档,帮助您快速找到需要的文档。 开发者社区提供的技术支持渠道如下: 开发过程中,您有任何问题可以在华为云对象存储服务论坛中发帖求助。
技术支持渠道(Node.js SDK) 您可以通过关键字在左侧搜索框中搜索本产品的文档,帮助您快速找到需要的文档。 开发者社区提供的技术支持渠道如下: 开发过程中,您有任何问题可以在华为云对象存储服务论坛中发帖求助。
技术支持渠道 您可以通过关键字在左侧搜索框中搜索本产品的文档,帮助您快速找到需要的文档。 开发者社区提供的技术支持渠道如下: 开发过程中,您有任何问题可以在华为云对象存储服务论坛中发帖求助。
技术支持渠道 您可以通过关键字在左侧搜索框中搜索本产品的文档,帮助您快速找到需要的文档。 开发者社区提供的技术支持渠道如下: 开发过程中,您有任何问题可以在华为云对象存储服务论坛中发帖求助。