资源池分为公共资源池与专属资源池。 公共资源池供所有租户共享使用。 专属资源池需单独创建,不与其他租户共享。 实例规格 选择实例规格,规格中描述了服务器类型、型号等信息。 更多选项 永久保存日志 选择是否打开“永久保存日志”开关。 开关关闭(默认关闭):表示不永久保存日志,则任务日志会在3
新建、关闭、保存、重新加载、重命名、导出、打印Notebook等功能。 Edit 编辑ipynb文件中代码块的相关操作,包括撤销、重做、剪切、复制、粘贴、选择、移动、合并、清除、查找代码块等。 View 查看视图相关操作。 Run 运行代码块相关操作,例如:运行选中代码块、一键运行所有代码块等。 Kernel
endFactory 下执行启动脚本。 启动训练脚本可使用以下两种启动命令,二选一即可,其中区别如下: 方法一:传递参数形式:将主节点IP地址、节点个数、节点RANK的参数传递至运行的脚本中执行。 多机执行命令为:sh scripts_modellink/llama2/0_pl_sft_70b
执行env|grep -i CURRENT_IMAGE_NAME命令查询当前实例所使用的镜像。 制作新镜像。 获取上步查询的基础镜像的SWR地址。 CURRENT_IMAGE_NAME=swr.cn-north-4.myhuaweicloud.com/atelier/mindspo
仅支持313T、376T、400T 训练支持的模型列表 本方案支持以下模型的训练,如表1所示。 表1 支持的模型列表及权重文件地址 支持模型 支持模型参数量 权重文件获取地址 Llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
endFactory 下执行启动脚本。 启动训练脚本可使用以下两种启动命令,二选一即可,其中区别如下: 方法一:传递参数形式:将主节点IP地址、节点个数、节点RANK的参数传递至运行的脚本中执行。 多机执行命令为:sh scripts_modellink/llama2/0_pl_sft_70b
DescProcessorTaskVersionResultsResp 参数 参数类型 描述 new_source String 处理后样本的地址。 origin_source String 样本的原地址。 result_description Array of objects 样本的处理描述。 result_property
<master_addr> --num_nodes <nodes> --rank <rank> <cfgs_yaml_file>:性能测试配置的yaml文件地址,如代码目录中performance_cfgs.yaml相对或绝对路径。 <model_name>:训练模型名,如qwen2-7b <ru
同时ModelArts还提供多种编程语言的SDK供您使用,SDK的使用方法请参见ModelArts SDK参考。 终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询所有服务的终端节点。 约束与限制 您能创建的ModelArts资源的数量与配额有关系,具体请参见服务配额。
CPU架构的自定义镜像分别只能运行于对应CPU架构的规格中。 执行如下命令,查看自定义镜像的CPU架构。 docker inspect {自定义镜像地址} | grep Architecture ARM CPU架构的自定义镜像,上述命令回显如下。 "Architecture": "arm64"
<master_addr> --num_nodes <nodes> --rank <rank> <cfgs_yaml_file>:性能测试配置的yaml文件地址,如代码目录中performance_cfgs.yaml相对或绝对路径。 <model_name>:训练模型名,如qwen2-7b <ru
仅支持313T、376T、400T 训练支持的模型列表 本方案支持以下模型的训练,如表1所示。 表1 支持的模型列表及权重文件地址 支持模型 支持模型参数量 权重文件获取地址 Llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
907版本新增如下内容: 文档和代码中新增对mistral和mixtral模型的适配,并添加训练推荐配置。 文档准备镜像步骤中,仅提供:直接使用基础镜像方案、ECS中构建新镜像方案,删除使用Notebook创建镜像方案。 文档中新增对 llama3 支持长序列文本(sequence_length >
调试与训练作业环境不同,可能会导致文件绝对路径不一致,需要修改代码内容。推荐使用软链接的方式解决该问题,用户只需提前建立好软链接,代码中的地址可保持不变。 新建软链接: # ln -s 源目录/文件 目标目录/文件 # 例如 ln -s /mnt/sfs_turbo/data/coco
- image: swr.xxxxxx.com/xxxx/custom_pytorch_npu:v1 # 镜像地址,根据实际场景修改 imagePullPolicy: IfNotPresent name:
清理镜像构建缓存 (只支持ModelArts Notebook里使用)。 debug 在ECS上调试SWR镜像是否能在ModelArts Notebook中使用 (只支持已安装docker环境的ECS)。 使用ma-cli image get-template命令查询镜像构建模板 m
10 确保容器可以访问公网。 训练支持的模型列表 本方案支持以下模型的训练,如表1所示。 表1 支持的模型列表及权重文件地址 支持模型 支持模型参数量 权重文件获取地址 Llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
--baseline <baseline> --o <output_dir> <cfgs_yaml_file>:性能测试配置的yaml文件地址,指代码目录中modellink_performance_cfgs.yaml相对或绝对路径,此配置文件为训练最优配置参数。 --baseline
vscode-server/bin/ 参数说明: - IdentityFile:本地密钥路径 - User:用户名,例如:ma-user - HostName:IP地址 - Port:端口号 vscode-server相关问题也可以使用上述的解决方法。 父主题: VS Code连接开发环境失败故障处理
--baseline <baseline> --o <output_dir> <cfgs_yaml_file>:性能测试配置的yaml文件地址,指代码目录中performance_cfgs.yaml相对或绝对路径,此配置文件为训练最优配置参数。 --baseline <basel
您即将访问非华为云网站,请注意账号财产安全