检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
验证对象是否可以在线预览。 配置成功后,将“http://自定义域名/对象访问路径”拼接成的链接分享给用户,用户可以在浏览器中通过此链接直接预览文件。 如仍不能在线预览,请检查对象元数据ContentType值是否是浏览器支持的在线展示类型。
验证对象是否可以在线预览。 配置成功后,将“http://自定义域名/对象访问路径”拼接成的链接分享给用户,用户可以在浏览器中通过此链接直接预览文件。 如仍不能在线预览,请检查对象元数据ContentType值是否是浏览器支持的在线展示类型。
我可以在线编辑OBS中的对象吗? OBS是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。 一般情况下,OBS不支持在线编辑对象内容。可以把对象下载到本地,修改后再重新上传至OBS。
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
AI人工智能的实现需要大量的基础设施资源,包括高性能算力,高速存储和网络带宽等基础设施,即“大算力、大存力、大运力”的AI基础大设施底座,让算力发展不要偏斜。
在左侧导航栏单击“数据处理>在线解压”,进入“在线解压”页面。 单击“创建”。 图1 创建在线解压策略 配置在线解压策略,参数说明如表1所示。 表1 在线解压策略参数说明 参数 说明 解压策略名称 输入方便记忆的策略名称。
设置在线解压策略 功能介绍 本接口用于为指定桶配置ZIP文件解压策略。接口是幂等的,如果桶上已存在相同策略内容,则返回成功,status code返回值为200;否则status code返回值为201。 请求消息样式 PUT /?
报错NetworkOnMainThreadException NetworkOnMainThreadException 一般是因为网络请求在MainThread类中产生的异常。建议和网络请求有关比较耗时的操作,放到一个子线程里,然后用Handler消息机制与主线程通信。
获取在线解压策略 功能介绍 本接口用于查询指定桶的ZIP文件解压策略。如果策略存在,则返回成功,status code返回值为200。 请求消息样式 GET /?
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”,进入“训练作业”列表。 单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。 填写训练作业相关参数信息
删除在线解压策略 功能介绍 本接口用于删除指定桶中配置的ZIP文件解压策略。删除成功,status code返回值为204。 请求消息样式 DELETE /?
SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,建议业务低峰期扩容。 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
当AI算力集群规模变大,大模型参数量变大,导致Checkpoint读加载时间变长时,或训练数据集加载由于存储读写带宽不足导致拖慢AI训练时,您可以对SFS Turbo进行性能扩容,以缩短数据加载时长。详情可参见SFS Turbo监控指标说明和创建告警规则。
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 创建VPC 虚拟私有云可以为您构建隔离的
父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
桶和对象相关 创建桶失败 上传对象失败 下载对象失败 删除桶失败 删除对象失败 通过URL访问对象失败 如何在浏览器中在线预览OBS中的对象? 我可以修改对象名称吗? 我可以在线编辑OBS中的对象吗? 如何获取对象访问路径? 我可以修改桶所在的区域吗?