检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
modelarts:network:get modelarts:workspace:get 创建训练作业和查看训练日志。 建议配置。 仅在严格授权模式开启后,需要显式配置左侧权限。 modelarts:workspace:getQuotas 查询工作空间配额。如果开通了工作空间功能,则需要配置此权限。 按需配置。 modelarts:tag:list
ge 表1 路径参数 参数 是否必选 参数类型 描述 instance_id 是 String Notebook实例ID,可通过调用查询Notebook实例列表接口获取。 project_id 是 String 用户项目ID,获取方法请参见获取项目ID和名称。 请求参数 表2 请求Body参数
String 工作流调度信息ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 content 否 Map<String,Object> 内容。 enable 否 Boolean 使能标志。 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述
训练管理 创建算法 查询算法列表 查询算法详情 更新算法 删除算法 获取支持的超参搜索算法 创建训练实验 创建训练作业 查询训练作业详情 更新训练作业描述 删除训练作业 终止训练作业 查询训练作业指定任务的日志(预览) 查询训练作业指定任务的日志(OBS链接) 查询训练作业指定任务的运行指标
rvice_id}/property 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 service_id 是 String 服务ID。 请求参数 表2 请求Header参数 参数 是否必选
针对之前使用访问密钥授权的用户,建议清空授权,然后使用委托进行授权。 在左侧导航栏中选择“模型训练 > 训练作业”,默认进入“训练作业”列表。单击“创建训练作业”进入创建训练作业页面。 在“创建训练作业”页面,填写相关参数信息,然后单击“提交”。 创建方式:选择“自定义算法”。 启动方式:选择“自定义”。
工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户token。 响应参数 状态码: 204 表4 响应Header参数
Code调试代码时不能进入源码 使用VS Code提交代码时弹出对话框提示用户名和用户邮箱配置错误 实例重新启动后,Notebook内安装的插件丢失 VS Code中查看远端日志 打开VS Code的配置文件settings.json VS Code背景配置为豆沙绿 VS Code中设置远端默认安装的插件 VS
行工具。 训练数据、代码、模型下载。(本地使用硬盘挂载或者docker cp,在ModelArts上使用OBSutil) 启动脚本,用法无切换,一般就是到达执行目录,然后python xxx.py。 训练结果、日志、checkpoints上传。(本地使用硬盘挂载或者docker
服务管理 服务管理概述 在开发环境中部署本地服务进行调试 部署在线服务 查询服务详情 推理服务测试 查询服务列表 查询服务对象列表 更新服务配置 查询服务监控信息 查询服务日志 删除服务
如何获取本机外网IP? 本机的外网IP地址可以在主流搜索引擎中搜索“IP地址查询”获取。 图1 查询外网IP地址 父主题: 环境配置相关
r资源和Ascend Snt9B。训练至少需要单机8卡,推理需要单机单卡。 表1 环境要求 名称 版本 CANN cann_8.0.rc2 PyTorch pytorch_2.1.0 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-3rdAIGC-6
--port:服务端口,和推理服务端口8080。 --url:API接口公网地址与"/v1/completions"拼接而成,部署成功后的在线服务详情页中可查看API接口公网地址。 图1 API接口公网地址 --app-code:获取方式见访问在线服务(APP认证)。 --tokenizer:to
installed ma_cli.*.*.* 在安装ma-cli时会默认同时安装所需的依赖包。当显示“Successfully installed”时,表示ma-cli安装完成。 如果在安装过程中报错提示缺少相应的依赖包,请根据报错提示执行如下命令进行依赖包安装。 pip install xxxx
训练作业 创建训练作业 查询训练作业列表 查询训练作业版本详情 删除训练作业版本 查询训练作业版本列表 创建训练作业版本 停止训练作业版本 更新训练作业描述 删除训练作业 获取训练作业日志的文件名 查询预置算法 查询训练作业日志 父主题: 训练管理(旧版)
推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B单机。 表1 环境要求 名称 版本 driver 23.0.6 PyTorch pytorch_2.1.0 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6.3
strings 安全组id集合。 表10 CreatingStep 参数 是否必选 参数类型 描述 step 否 Integer 创建步长。 type 否 String 批量创建类型。可选值如下: rack:表示整柜。 响应参数 状态码: 200 表11 响应Body参数 参数 参数类型
tance_id}/storage/{storage_id} 表1 路径参数 参数 是否必选 参数类型 描述 instance_id 是 String Notebook实例ID,可通过调用查询Notebook实例列表接口获取。 project_id 是 String 用户项目ID,获取方法请参见获取项目ID和名称。
Pytorch2.0。 GPU A系列裸金属服务器,单台服务器GPU间是走NVLINK,可以通过相关命令查询GPU拓扑模式: nvidia-smi topo -m 图1 查询GPU拓扑模式 操作步骤 使用以下脚本测得GPU服务器内NVLINK带宽性能。 import torch import
${pod_name}:pod名,例如图1${pod_name}为yourapp-87d9b5b46-c46bk。 进入benchmark_tools目录下,切换conda环境并安装依赖。 cd /home/ma-user/AscendCloud/AscendCloud-LLM/llm_tools/