检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/scripts/install.sh; sh ./scripts/llama2/0_pl_pretrain_13b.sh 如果镜像使用ECS中构建新镜像构建的新镜像时,训练作业启动命令中输入: cd /home/ma-user/work/llm_train/AscendSpeed;
链接仓库协议。当前支持:ssh,https。 url String 链接仓库地址。 credential Object 证书信息,请参见表23。 表23 credential字段数据结构说明 参数 参数类型 说明 ssh_private_key String ssh私有证书。 access_token
Cluster资源池进行扩缩容。 Lite Cluster资源池不能缩容到0。 包年/包月的资源处仅支持扩容操作。 扩缩容Lite Cluster资源池 登录ModelArts管理控制台,在左侧菜单栏中选择“AI专属资源池 > 弹性集群 Cluster”,在“弹性集群”页面,选择“Lite资源池”页签,查看资源池列表。
a-user/modelarts/log/”目录下的“*.log”文件将会被自动上传至ModelArts训练作业的日志目录(OBS)。如果本地相应目录没有生成大小>0的日志文件,则对应的父级目录也不会上传。因此,PyTorch NPU的plog日志是按worker存储的,而不是按rank
之后进行服务测试的操作步骤。 模型部署完成后,“在服务部署”节点,单击“实例详情”按钮,进入服务预测界面,在“预测”页签单击“上传”,选择本地图片进行测试。 单击“预测”进行测试,预测完成后,右侧“预测结果”区域输出标签名称“sunflowers”和检测的评分。如模型准确率不满足
自动学习”页面,选择服务部署节点,单击实例详情,进入“模型部署”界面,选择状态为“运行中”的服务版本,在“服务测试”区域单击“上传”,选择本地音频进行测试。 单击“预测”进行测试,预测完成后,右侧“预测结果”区域输出测试结果。如模型准确率不满足预期,可在“数据标注”页签中添加音频
执行如下操作,将数据导入到您的数据集中,以便用于模型训练和构建。 登录OBS管理控制台,在ModelArts同一区域内创建桶。如果已存在可用的桶,需确保OBS桶与ModelArts在同一区域。 参考上传文件,将本地数据上传至OBS桶中。如果您的数据较多,推荐OBS Browser
sh ./scripts/install.sh; sh ./scripts/llama2/0_pl_sft_13b.sh 若镜像使用ECS中构建新镜像和Notebook中构建新镜像构建的新镜像时,训练作业启动命令中输入: cd /home/ma-user/work/llm_train/AscendSpeed;
sh ./scripts/install.sh; sh ./scripts/llama2/0_pl_lora_13b.sh 若镜像使用ECS中构建新镜像和Notebook中构建新镜像构建的新镜像时,训练作业启动命令中输入: cd /home/ma-user/work/llm_train/AscendSpeed;
sh ./scripts/install.sh; sh ./scripts/llama2/0_pl_sft_13b.sh 如果镜像使用ECS中构建新镜像构建的新镜像时,训练作业启动命令中输入: cd /home/ma-user/work/llm_train/AscendSpeed;
sh ./scripts/install.sh; sh ./scripts/llama2/0_pl_lora_13b.sh 如果镜像使用ECS中构建新镜像构建的新镜像时,训练作业启动命令中输入: cd /home/ma-user/work/llm_train/AscendSpeed;
sh ./scripts/install.sh; sh ./scripts/llama2/0_pl_sft_13b.sh 如果镜像使用ECS中构建新镜像构建的新镜像时,训练作业启动命令中输入: cd /home/ma-user/work/llm_train/AscendSpeed;
cluster_id 否 String MRS集群ID。可登录MRS控制台查看。 cluster_mode 否 String MRS集群运行模式。可选值如下: 0:普通集群 1:安全集群 cluster_name 否 String MRS集群名称。可登录MRS控制台查看。 database_name
确保容器可以访问公网。 Step1 检查环境 请参考Lite Server资源开通,购买Lite Server资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 购买Lite Server资源时如果无可选资源规格,需要联系华为云技术支持申请开通。 当容器需要提供服务给多个
评测动态性能脚本 ├── generate_dataset.py # 生成自定义数据集的脚本 ├── benchmark_utils.py # 工具函数集 ├── benchmark.py # 执行静态、动态性能评测脚本 ├── requirements.txt
评测动态性能脚本 ├── generate_dataset.py # 生成自定义数据集的脚本 ├── benchmark_utils.py # 工具函数集 ├── benchmark.py # 执行静态、动态性能评测脚本 ├── requirements.txt
数据输入通道名称。 description String 数据输入通道描述信息。 local_dir String 数据输入通道映射的容器本地路径。 remote InputDataInfo object 数据实际输入信息。 remote_constraint Array of objects
评测动态性能脚本 ├── generate_dataset.py # 生成自定义数据集的脚本 ├── benchmark_utils.py # 工具函数集 ├── benchmark.py # 执行静态、动态性能评测脚本 ├── requirements.txt
分享案例到AI Gallery进行交流,停止实例(实例停止后CPU、Memory不再计费)等,提升用户体验。 支持SSH远程连接功能:通过SSH连接启动实例,在本地调试就可以操作实例,方便调试。 预置镜像支持功能开发:基于ModelArts预置镜像进行依赖安装配置后,保存为自定义
扩缩容。 专属资源池不能缩容到0。 扩缩容专属资源池 资源池扩缩容有以下类型,分别为: 对已有规格增减目标总实例数 修改容器引擎空间大小 登录ModelArts管理控制台,在左侧菜单栏中选择“AI专属资源池 > 弹性集群Cluster”,进入“Standard资源池”页签,查看资源池列表。