检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
由于基础镜像内需要安装固定版本依赖包，若直接使用基础镜像进行训练，每次创建训练作业时，训练作业的图1中都需要执行 install.sh 文件，来安装依赖以及下载完整代码。 以创建llama2-13b预训练作业为例，执行脚本0_pl_pretrain_13b.sh时，命令如下： cd
由于基础镜像内需要安装固定版本依赖包，如果直接使用基础镜像进行训练，每次创建训练作业时，训练作业的图1中都需要执行install.sh文件，来安装依赖以及下载完整代码。命令如下： cd /home/ma-user/modelarts/user-job-dir/AscendSpeed;
src_path String 批量任务输入数据的OBS路径。 dest_path String 批量任务输出结果的OBS路径。 req_uri String 批量任务中调用的推理路径。 mapping_type String 输入数据的映射类型，取值为：file或csv。 mapping_rule
或版本不匹配，因此每次创建训练作业时，训练作业的启动命令中都需要执行install.sh文件，来安装依赖以及下载完整代码。 ECS中构建新镜像方案：在ECS中，通过运行Dockerfile文件会在基础镜像上创建新的镜像。新镜像命名可自定义。Dockerfile会下载Megatro
或版本不匹配，因此每次创建训练作业时，训练作业的启动命令中都需要执行install.sh文件，来安装依赖以及下载完整代码。 ECS中构建新镜像方案：在ECS中，通过运行Dockerfile文件会在基础镜像上创建新的镜像。新镜像命名可自定义。Dockerfile会下载Megatro
前支持“按节点比例”和“按实例数量”两种滚动方式。 按节点比例：每批次驱动升级的实例数量为“节点比例*资源池实例总数”。 按实例数量：可以设置每批次驱动升级的实例数量。 对于不同的升级方式，滚动升级选择实例的策略会不同： 如果升级方式为安全升级，则根据滚动节点数量选择无业务的节点，隔离节点并滚动升级。
tokenizer路径。 输出转换后权重文件保存路径： 权重转换完成后，在 /home/ma-user/ws/processed_for_ma_input/llama2-13b/converted_weights_TP${TP}PP${PP} 目录下查看转换后的权重文件。 Megatron转HuggingFace参数说明
py 如果当前进程使用GPU 如果当前没有进程使用GPU 方法二： 打开文件“/resource_info/gpu_usage.json”，可以看到有哪些进程在使用GPU。 如果当前没有进程使用GPU，该文件可能不存在或为空。 父主题： Standard Notebook
训练专属预置镜像列表 ModelArts平台提供了Tensorflow，PyTorch，MindSpore等常用深度学习任务的基础镜像，镜像里已经安装好运行任务所需软件。当基础镜像里的软件无法满足您的程序运行需求时，您可以基于这些基础镜像制作一个新的镜像并进行训练。 训练基础镜像列表
根据容器日志进行排查，查看健康检查接口失败的具体原因。 镜像健康检查配置问题，需修复代码后重新制作镜像创建模型后部署服务。了解镜像健康接口配置请参考模型配置文件编写说明中health参数说明。 模型健康检查配置问题，需重新创建模型或者创建模型新版本，配置正确的健康检查，使用新的模型或版本重新部署服
训练，每次创建训练作业时，训练作业的图1中都需要执行 install.sh文件，来安装依赖以及下载完整代码。 使用基础镜像的方法，需要确认训练作业的资源池是否联通公网，否则执行 install.sh 文件时下载代码会失败。因此可以选择配置网络或使用ECS中构建新镜像的方法。 若要
训练，每次创建训练作业时，训练作业的图1中都需要执行 install.sh文件，来安装依赖以及下载完整代码。 使用基础镜像的方法，需要确认训练作业的资源池是否联通公网，否则执行 install.sh 文件时下载代码会失败。因此可以选择配置网络或使用ECS中构建新镜像的方法。 若要
或版本不匹配，因此每次创建训练作业时，训练作业的启动命令中都需要执行install.sh文件，来安装依赖以及下载完整代码。 ECS中构建新镜像方案：在ECS中，通过运行Dockerfile文件会在基础镜像上创建新的镜像。新镜像命名可自定义。Dockerfile会下载Megatro
或版本不匹配，因此每次创建训练作业时，训练作业的启动命令中都需要执行install.sh文件，来安装依赖以及下载完整代码。 ECS中构建新镜像方案：在ECS中，通过运行Dockerfile文件会在基础镜像上创建新的镜像。新镜像命名可自定义。Dockerfile会下载Megatro
E表示作业的配置文件路径，如果不指定该参数，则表示配置文件为空。配置文件是一个YAML格式的文件，里面的参数就是命令的option参数。此外，如果用户在命令行中同时指定YAML_FILE配置文件和option参数，命令行中指定的option参数的值将会覆盖配置文件相同的值。 $ma-cli
获取日志的长度，默认为50行。lines的范围为[0, 500]。 log_file 是 String 需要查看的日志文件名称，获取方式请参见获取训练作业日志的文件名。 order 否 String 日志查询的方向。 desc：向下查询。 asc：向上查询。 请求消息 无。 响应消息
KeyError: 'bndbox' 原因分析 用于训练的数据集中，使用了“非矩形框”标注。而预置使用算法不支持“非矩形框”标注的数据集。 处理方法 此问题有两种解决方法： 方法1：使用常用框架自行编码开发模型，支持“多边形”标注的数据集。 方法2：修改数据集，使用矩形标注。然后再启动训练作业。 父主题：
打开一个Notebook实例，进入到Launcher界面。 在“Notebook”区域下，选择“TensorFlow-1.8”，新建一个ipynb文件。 在新建的Notobook中，在代码输入栏输入如下命令。 !pip install Shapely 在Terminal中安装 例如，通过
单击“添加授权”。在“访问授权”页面，在“授权对象类型”下面选择“IAM子用户”，“授权对象”选择开发者的账号，“委托选择”选择“新增委托”，“委托名称”设置为“ma_agency_develop_user”，“权限配置”选择“自定义”，“权限名称”勾选“OBS Administrator”。开
存储相关 在ModelArts中如何查看OBS目录下的所有文件？
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
