检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
传文件数量限制。 检查本地与OBS的网络是否正常,如果存在网络故障,解决网络故障,确保网络正常。 上传对象时弹出“Service Unavailable”的错误提示,则可能是因为当前服务器繁忙,请稍后重试。 请检查账号是否已通过实名认证。如果没有,请先实名认证。 登录OBS管理控制台。
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”,进入“训练作业”列表。 单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。
之前下载失败的对象采用续传的方式重新下载到本地。 如果问题未能解决,请将obsutil升级到最新版本再进行下载。 如果问题仍然存在,请联系客服处理。 父主题: OBS Browser+和obsutil等工具相关
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击
在顶部导航栏单击“费用与成本”,进入费用中心。 在“总览”页面可以查看到账号可用额度。 如果您的账号已欠费,请参考续费管理对账号充值。 如果您充值后,仍不能上传对象,请联系客服进一步解决。 检查账号是否拥有桶的下载对象权限,请综合IAM权限、桶策略、对象策略、桶ACL和对象ACL共同检查。如果无权限,请先授权。 登录管理控制台。
配置ModelArts和SFS Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”,单击右上角的“创建自定义策略”,进入自定义策略配置页面。 输入“策略
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 下载ImageNet21K数据集,并上传ImageNet21K数据集至OBS,详细操作指导请参考上传数据至OBS。 OBS针对不同场景提供了多种数据上云方案,您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS,更多内容请参考数据上云方案。
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
或“A conflicting operation is being performed on this resource. Try again later.”,这是由于OBS中存在同名桶且该同名桶在短期内因欠费被释放导致的。建议您更换桶名再试。 检查账号是否拥有权限,如果无权限,请授予对应的操作权限。
ls -failed [-limit=1000] [-o=xxx] macOS/Linux操作系统 ./obsutil ls -failed [-limit=1000] [-o=xxx] 运行示例 以Windows操作系统为例。运行示例如下: obsutil ls -failed
存储业务。 表1 OBS最佳实践一览表 最佳实践 说明 面向AI场景使用OBS+SFS Turbo的存储加速实践 针对AI训练场景中面临的问题,华为云提供了基于对象存储服务OBS+高性能文件服务SFS Turbo的AI云存储解决方案。华为云高性能文件服务SFS Turbo HPC
建议搭配服务 弹性云服务器 ECS,裸金属服务器 BMS,MapReduce服务 MRS,云容器引擎 CCE,云专线 DC 图4 基因测序 智能视频监控 场景描述 OBS为视频监控解决方案提供高性能、高可靠、低时延、低成本的海量存储空间,满足个人/企业等各类视频监控场景需求,提供设
// 指定创建多AZ桶,如果不设置,默认创建单AZ桶 request.setAvailableZone(AvailableZoneEnum.MULTI_AZ); // 创建桶 ObsBucket
您可以通过appendObject进行追加上传。示例代码如下: NSString *filePath = [[NSBundle mainBundle] pathForResource:@"FileName" ofType:@"FileSuffix"]; NSFileManager
用、API接口、WebSocket应用等。 智能优化能力强: 智能路由选择:WSA能够根据用户的地理位置、网络运营商、网络质量、节点负载等多种因素,实时动态地计算出到源站的最优访问路径。相比传统的基于DNS的就近访问原则,WSA的智能路由可以更精准地避开网络拥堵、故障等问题,提高数据传输效率。
当前顺序是默认先从环境变量,再从ECS服务器委托中进行搜索,暂不支持自定义获取方式和顺序。 OBSCredentialsProviderChain示例代码 其他配置 只配置终端节点(endpoint) 除了访问凭证外,只配置中终端节点(endpoint)参数。 除访问凭证外只配置endpoint示例代码
不涉及 由第三方云厂商收取数据读取费用,具体以第三方云厂商提供的价格为准。 低成本、500TB以上的数据迁移请在华为云上提交工单或联系人工客服,根据您的业务模型,为您定制适合超大规模数据迁移的方案。 OMS方式 OMS是一种云上的对象数据迁移服务,具有安全、高效等优势。数据迁移时
项目打包出错 打包时候报如下错误: OBS.framework” did not contain a “archived-expanded-entitlements.xcent” resource. 修复方法: OBS.framework为静态库,请确保Embedded Binaries中不包含OBS
如果从ObsException->getExceptionMessage中获取到的错误描述为“Exceeded retry limitation, xxx Failed to connect to xxx”,表明连接超时,其原因一般是服务地址(Endpoint)错误或网络不通导致无法连接OBS服务,此时请检查服务地址和网络状况。