正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS桶域名。 验证对象是否可以在线预览。 配置成功后,将“http://自定义域名/对象访问路径”拼接成的链接分享给用户,用户可以在浏览器中通过此链接直接预览文件。 如仍不能在线预览,请检查对象元数据ContentType值是否是浏览器支持的在线展示类型。 例如对象是一个mp4
进入“对象”页面。 在左侧导航栏单击“数据处理>在线解压”,进入“在线解压”页面。 单击“复制”。 选择复制源,即在线解压策略所在的源桶。 从源桶复在线解压策略的操作为增量复制,不会删除当前桶已存在的在线解压策略,与已存在的在线解压策略冲突的策略不会复制。 源桶和目标桶的桶版本号都必须是3
OBS桶域名。 验证对象是否可以在线预览。 配置成功后,将“http://自定义域名/对象访问路径”拼接成的链接分享给用户,用户可以在浏览器中通过此链接直接预览文件。 如仍不能在线预览,请检查对象元数据ContentType值是否是浏览器支持的在线展示类型。 例如对象是一个mp4
我可以在线编辑OBS中的对象吗? OBS是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。 一般情况下,OBS不支持在线编辑对象内容。可以把对象下载到本地,修改后再重新上传至OBS。 针对以下特殊场景,OBS支持在线对对象进行处理: 修改对象元数据
设置在线解压策略 功能介绍 本接口用于为指定桶配置ZIP文件解压策略。接口是幂等的,如果桶上已存在相同策略内容,则返回成功,status code返回值为200;否则status code返回值为201。 请求消息样式 PUT /?obscompresspolicy HTTP/1
删除在线解压策略 功能介绍 本接口用于删除指定桶中配置的ZIP文件解压策略。删除成功,status code返回值为204。 请求消息样式 DELETE /?obscompresspolicy HTTP/1.1 Host: bucketname.obs.cn-north-4.myhuaweicloud
获取在线解压策略 功能介绍 本接口用于查询指定桶的ZIP文件解压策略。如果策略存在,则返回成功,status code返回值为200。 请求消息样式 GET /?obscompresspolicy HTTP/1.1 Host: bucketname.obs.cn-north-4.myhuaweicloud
报错NetworkOnMainThreadException NetworkOnMainThreadException 一般是因为网络请求在MainThread类中产生的异常。建议和网络请求有关比较耗时的操作,放到一个子线程里,然后用Handler消息机制与主线程通信。 父主题:
该解决方案基于华为云人证核身 IVS服务和人脸识别 FRS服务构建,快速实现对用户身份真实性的核验 FunctionGraph、IVS、OBS、FRS、APIG 语音识别解决方案 该方案支持中文普通话以及带方言口音的普通话识别以及方言(四川话、粤语和上海话)的识别 FunctionGraph、SIS、OBS
足高性能AI训练,建议使用SFS Turbo HPC型高性能文件系统加速AI训练任务,训练速度加快可以节省AI算力费用。 文件系统使用空间不足,可以扩容吗? SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,建议业务低峰期扩容。 父主题: 面向AI场景使用OBS+SFS
如果您在填写用户域名时,需要OBS控制台为您呈现已有华为云域名,便于您在下拉列表中直接点选,则您需要拥有域名注册服务(Domains)的Domains:domains:getDetails权限,请联系管理员使用统一身份认证服务(IAM)为您授权。授权操作请参见给IAM用户授权。 域名后缀目前支持的范围为2~6个英文大小写字母。如:
应用场景 近年来,AI快速发展并应用到很多领域中,AI新产品掀起一波又一波热潮,AI应用场景越来越多,有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源,包括高性能算力,高速存储和网络带宽等基础设施,即“大算力、大存力、大运力”的AI基础大设施底座,让算力发展不要偏斜。
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts:AI开发平台,采用多机多卡分布式训练。 VPC:虚拟私有云和子网。 算法及数据:准备AI训练需要的算法及数据集,如Swin-Transformer算法,及ImageNet21K数据集。
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
桶和对象相关 创建桶失败 上传对象失败 下载对象失败 删除桶失败 删除对象失败 通过URL访问对象失败 如何在浏览器中在线预览OBS中的对象? 我可以修改对象名称吗? 我可以在线编辑OBS中的对象吗? 如何获取对象访问路径? 我可以修改桶所在的区域吗? 如何修改桶所属的企业项目? 我可以在桶间进行文件复制吗?
您可以在CES云监控服务上监控和SFS Turbo文件系统的性能使用情况。当AI算力集群规模变大,大模型参数量变大,导致Checkpoint读加载时间变长时,或训练数据集加载由于存储读写带宽不足导致拖慢AI训练时,您可以对SFS Turbo进行性能扩容,以缩短数据加载时长。详情可参见SFS
基于安全合规要求,华为云对象存储服务OBS禁止通过OBS的默认域名在线预览桶内对象,即使用分享链接从浏览器访问桶内对象(如视频、图片、网页等)时,不会显示对象内容,而是以附件形式下载。解决方案请参考:如何在浏览器中在线预览OBS中的对象? 父主题: 对象操作