检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Step4 查看训练看板中的可视化数据 Step1 创建开发环境并在线打开 在ModelArts控制台,进入“开发空间 > Notebook”页面,创建TensorFlow或者PyTorch镜像的开发环境实例。创建成功后,单击开发环境实例操作栏右侧的“打开”,在线打开运行中的开发环境。
显示训练作业的优先级。 训练作业参数 表2 训练作业参数 参数 说明 “算法名称” 本次训练作业使用的算法。单击算法名称,可以跳转至算法详情页面。 “预置镜像” 本次训练作业使用的预置镜像框架。仅使用预置框架创建的训练作业才有该参数。 “自定义镜像” 本次训练作业使用的自定义镜像。
云服务。了解更多。 将自定义策略授权给开发者用户组user_group。 在统一身份认证服务控制台的左侧菜单栏中,选择“用户组”。在用户组页面单击对应用户组名称user_group操作列的“授权”,勾选策略“Policy1”、“Policy2”、“SWR Admin”。单击“下一步”。
保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 软件配套版本
til工具快速使用,将OBS桶中的数据下载至SFS Turbo中。注意:需要使用用户账号中的AK和SK进行签名验证,确保通过授权的账号才能访问指定的OBS资源。 父主题: 准备工作
_VJ_NAME}-${MA_TASK_NAME}-${MA_MASTER_INDEX}.${MA_VJ_NAME}"”。 在创建训练作业页面配置环境变量“ROUTE_PLAN”,取值为“true”,具体操作请参见管理训练容器环境变量。 代码示例 训练作业的启动脚本示例如下。 启
til工具快速使用,将OBS桶中的数据下载至SFS Turbo中。注意:需要使用用户账号中的AK和SK进行签名验证,确保通过授权的账号才能访问指定的OBS资源。 父主题: 准备工作
til工具快速使用,将OBS桶中的数据下载至SFS Turbo中。注意:需要使用用户账号中的AK和SK进行签名验证,确保通过授权的账号才能访问指定的OBS资源。 父主题: 准备工作
modelarts-dev-proxy.com:8083" } } 进入虚拟环境的IPython Kernel。 刷新JupyterLab页面,可以看到自定义的虚拟环境Kernel。如下所示: 单击my-py3-tensorflow-env图标,验证是否为当前环境,如下所示: 清理环境。
大于100MB的文件需要先从Notebook中上传到OBS,再从OBS下载到本地,具体操作如下: 打开Python运行环境。 以下图为例,在Launcher页面的Notebook区域,单击“python-3.7.10”。请您以实际环境为准。 图2 打开Python运行环境 使用MoXing将目标文件从Notebook上传到OBS中。
node_rank:任务rank,用于多任务分布式训练。 master_addr:主任务(rank 0)的地址,设置为任务worker-0的通信域名。 master_port:在主任务(rank 0)上,用于分布式训练期间通信的端口。默认设置为18888端口。当遇到master_por
5-14B增量预训练的数据集格式如下: [ {"text": "document"}, {"text": "document"} ] 前提条件 在“我的模型”页面存在已创建成功的模型。 已准备好训练数据集,并存放于OBS桶中,OBS桶必须和MaaS服务在同一个Region下。 当需要永久保存日志时,
登录ModelArts管理控制台。 在左侧导航栏中,选择“模型训练 > 训练作业”进入训练作业列表。 单击“创建训练作业”,进入创建训练作业页面,填写作业信息,创建方式参考表1,其他参数填写请参考创建训练作业。 表1 创建训练作业的创建方式(使用自定义镜像) 参数名称 说明 创建方式
上传单个文件到指定仓库目录 上传整个文件夹 准备工作 获取“repo_id”和待上传的文件名。 获取“repo_id” 在AI Gallery页面的资产详情页,单击复制完整的资产名称,如图1所示,获取到的信息即为“repo_id”。例如,复制出的信息为“ur5468675/test_
保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 镜像版本
例如: 增量训练 分布式训练 训练加速 训练高可靠性 查看训练结果和日志 查看训练作业详情 训练作业运行中或运行结束后,可以在训练作业详情页面查看训练作业的参数设置,训练作业事件等。 查看训练作业日志 训练日志用于记录训练作业运行过程和异常信息,可以通过查看训练作业日志定位作业运行中出现的问题。
JobEngine(image_url="fake_image_url"), # 自定义镜像的url,格式为:组织名/镜像名称:版本号,不需要携带相应的域名地址;如果image_url需要设置为运行态可配置,则使用如下方式:image_url=wf.Placeholder(name="image_url"
保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 镜像版本
保存镜像”,进入“保存镜像”页面,设置组织、镜像名称、镜像版本和描述信息后单击“确认”保存镜像。此时Notebook会冻结,需要等待几分钟。详细操作请参考保存Notebook镜像环境。 图7 保存镜像 查看所保存的镜像 保存后的镜像可以在ModelArts控制台“镜像管理”页面查看到该镜像详情
til工具快速使用,将OBS桶中的数据下载至SFS Turbo中。注意:需要使用用户账号中的AK和SK进行签名验证,确保通过授权的账号才能访问指定的OBS资源。 父主题: 准备工作