检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
认是16Gbit/s,如果导入导出速度受到OBS读写带宽上限影响,可提交工单联系技术支持人员申请调大OBS服务的读写带宽。 父主题: 实施步骤
比如在浏览器环境中,需要获取ETag值,由于ETag不属于标准响应头,就需要添加到扩展头域。 您可以从这里参考各客户端工具配置CORS的详细步骤。 父主题: 快速入门
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”,进入“训练作业”列表。 单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。
ndpoint)和访问域名。 fs.obs.impl配置为org.apache.hadoop.fs.obs.OBSFileSystem。 重启HDFS集群。 在MapReduce2集群中增加配置项 在MapReduce2集群CONFIGS的ADVANCED配置项中修改mapred-site
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
时提示“不是内部或外部命令”,请在Path环境变量中增加pip的安装目录(一般为Python所在目录的Scripts文件夹)。 您可能需要重启电脑使环境变量生效。 如果安装出现超时的情况,可以使用国内的镜像源,比如:pip install esdk-obs-python --trusted-host
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击
设置每页显示的对象个数。系统默认设置为100个。设置范围为50到300个。设置成功后可单击页面右上角的按钮使配置生效。 数据库路径 OBS Browser数据保存的路径。可以通过单击后面的,修改路径。 注意: 数据库路径不能包含中文字符。 单击“保存”,保存系统配置。 父主题: 相关操作
/home/startobsfs.sh 如果/etc/rc.d/rc.local中有退出的命令,例如“exit 0”,请将本步骤中的命令添加至退出命令之前。 重启后验证。 在重启Linux后,执行以下命令,查看OBS并行文件系统是否挂载成功。 df -h 后续如果想取消开机自动挂载并行文件系统,删除rc
“委托类型”选择“云服务”,在“云服务”中选择“ModelArts”,持续时间根据用户需要选取,单击“下一步”,进入给委托授权页面。 勾选步骤1到7创建的自定义策略,给委托授权,单击“下一步”。 选择授权范围方案,选择“所有资源”。 单击“确定”,委托创建完成。 配置ModelArts网络关联SFS
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 下载ImageNet21K数据集,并上传ImageNet21K数据集至OBS,详细操作指导请参考上传数据至OBS。 OBS针对不同场景提供了多种数据上云方案,您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS,更多内容请参考数据上云方案。
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
卸载OBS Browser+ 卸载OBS Browser+的操作步骤如下: 在Windows系统的“控制面板 > 程序 >程序和功能”中,找到“obs-browser-plus xxx”。 单击右键,选择“卸载”。 根据提示完成卸载。
如果您已有华为账号,请忽略此步骤。如果您还没有华为账号,请执行以下操作: 注册华为账号并开通华为云。 参考个人账号如何完成实名认证或企业账号如何完成实名认证,完成个人或企业账号实名认证。 为账号充值。 您需要确保账号有足够的余额,才能正常使用OBS等相关资源。请参考账户充值。 操作视频 步骤一:创建桶
如果您已有华为账号,请忽略此步骤。如果您还没有华为账号,请执行以下操作: 注册华为账号并开通华为云。 参考个人账号如何完成实名认证或企业账号如何完成实名认证,完成个人或企业账号实名认证。 为账号充值。 您需要确保账号有足够的余额,才能正常使用OBS等相关资源。请参考账户充值。 操作视频 步骤一:创建桶
每个接口的参数和使用方法。 OBS .NET SDK基于Apache Log4net开源库提供了日志功能,您可以通过加入日志配置文件开启日志功能。具体步骤如下: 在工程中添加对开发包中的日志库文件log4net.dll的引用。 将开发包中的日志配置文件Log4Net.config
SDK最新版本为例,步骤如下: 下载OBS .NET SDK开发包。 解压开发包,可以看到其中包含demo文件夹(示例代码)。在release文件夹中包含各个版本的SDK,请选择最新版本解压开发包。可以看到其中包含en文件夹(包含第三方日志库文件log4net.dll和SDK库文件esdk_obs_
如果您已有华为账号,请忽略此步骤。如果您还没有华为账号,请执行以下操作: 注册华为账号并开通华为云。 参考个人账号如何完成实名认证或企业账号如何完成实名认证,完成个人或企业账号实名认证。 为账号充值。 您需要确保账号有足够的余额,才能正常使用OBS等相关资源。请参考账户充值。 操作视频 步骤一:创建桶
如何进行分段上传?(Java SDK) 在上传文件时,您可以指定上传文件的某一段的数据来进行分段上传,步骤如下: 您需要以AK、SK、Endpoint先初始化一个客户端ObsClient。 指定桶名和对象名初始化一个InitiateMultipartUploadRequest,您