-
推理基础镜像详情TensorFlow(CPU/GPU) - AI开发平台ModelArts
cudnn:7.6.5.32 Python解释器路径及版本:/home/ma-user/anaconda3/envs/TensorFlow-2.1/bin/python, python 3.7.10 三方包安装路径:/home/ma-user/anaconda3/envs/TensorFlow-2
-
LoRA微调训练 - AI开发平台ModelArts
任务,可以参考SFT全参微调权重转换章节完成。 Step3 LoRA微调超参配置 LoRA微调训练脚本glm3_base.sh,存放在xxx-Ascend/llm_train/AscendSpeed/scripts/glm3/目录下。训练前,可以根据实际需要修改超参配置。 微调任
-
SDXL基于DevServer适配MindSpore-Lite NPU推理指导(6.3.T041) - AI开发平台ModelArts
安装依赖。 pip install flask 启动服务。 运行/home/ma-user/sdxl_ms路径下的infer_server.py部署推理服务。 python infer_server.py 服务启动成功显示如下。 图7 服务启动成功 Step6 使用Python脚本进行测试
-
预训练任务 - AI开发平台ModelArts
0 多机必填,单机忽略;节点序号,当前节点ID,一般从0开始,单机默认是0。以8机训练为例,节点ID依次为(0 1 2 3 4 5 6 7);一般ID为0的节点设置为主节点IP。 WORK_DIR /home/ma-user/ws 非必填。容器的工作目录。训练的权重文件保存在此路径
-
风险操作 - AI开发平台ModelArts
风险操作 当您在CCE、ECS或BMS服务控制台直接操作ModelArts Lite k8s Cluster资源时,可能会导致资源池部分功能异常,下表可帮助您定位异常出现的原因,风险操作包括但不限于以下内容: 表1 操作及其对应风险 类型 操作 风险 集群 升级、修改、休眠集群、删除集群等。
-
SFT全参微调任务 - AI开发平台ModelArts
0 多机必填,单机忽略。节点序号,当前节点ID,一般从0开始,单机默认是0。以8机训练为例,节点ID依次为(0 1 2 3 4 5 6 7);一般ID为0的节点设置为主节点IP。 WORK_DIR /home/ma-user/ws 非必填。容器的工作目录。训练的权重文件保存在此路径
-
LoRA微调训练 - AI开发平台ModelArts
多机必填。节点序号,当前节点ID,一般从0开始。单机默认是0。以Qwen-72B 5机训练为例,节点ID依次为(0 1 2 3 4);一般ID为0的节点设置为主节点IP。 MODEL_PATH /home/ma-user/ws/processed_for_ma_input/Qwe
-
以PyTorch框架创建训练作业(新版训练) - AI开发平台ModelArts
e”表示算法所依赖的引擎,使用3记录的“engine_name”和“engine_version”。 返回状态码“200 OK”,表示创建算法成功,响应Body如下所示: { "metadata": { "id": "01c399ae-8593-4ef5-9e4d-085950aacde1"
-
LoRA微调训练 - AI开发平台ModelArts
0 多机必填,单机忽略;节点序号,当前节点ID,一般从0开始,单机默认是0。以8机训练为例,节点ID依次为(0 1 2 3 4 5 6 7);一般ID为0的节点设置为主节点IP。 WORK_DIR /home/ma-user/ws 非必填。容器的工作目录。训练的权重文件保存在此路径
-
注册API并授权给APP - AI开发平台ModelArts
"infer_456963f1737c4de08bee5b4f6f3a8fa3", "api_method" : "ANY", "predict_url" : "https://d566c7efafe04a26a83d3a8475602ee3.apig.xxxxxx.co
-
查询作业资源规格 - AI开发平台ModelArts
项目类型。默认为“0”。 0:非自动学习项目。 1:自动学习,图像分类。 2:自动学习,物体检测。 3:自动学习,预测分析。 请求消息 无请求参数。 响应消息 响应参数如表3所示。 表3 响应参数 参数 参数类型 说明 is_success Boolean 请求是否成功。 error_message
-
推理基础镜像详情MindSpore(CPU/GPU) - AI开发平台ModelArts
18.04.4 LTS Python解释器路径及版本:/home/ma-user/anaconda3/envs/MindSpore/bin/python, python 3.7.10 三方包安装路径:/home/ma-user/anaconda3/envs/MindSpore/lib/python3
-
统一镜像介绍 - AI开发平台ModelArts
pore、PyTorch,适用于开发环境,模型训练,服务部署,请参考统一镜像列表。 统一镜像列表 ModelArts提供了ARM+Ascend规格的统一镜像,包括MindSpore、PyTorch。适用于开发环境,模型训练,服务部署,请参考统一镜像列表。表1、表2所示镜像仅发布在西南-贵阳一区域。
-
ma-cli image镜像构建支持的命令 - AI开发平台ModelArts
取消注册镜像、调试镜像是否可以在Notebook中使用等。具体命令及功能可执行ma-cli image -h命令查看。 镜像构建命令总览 $ ma-cli image -h Usage: ma-cli image [OPTIONS] COMMAND [ARGS]... Support
-
查询推理VPC访问通道信息的API - AI开发平台ModelArts
"vpcep_service_id" : "2275xxxx-c96f-4xxx-820c-c7xxxxxa7899", "vpcep_service_name" : "cn-nxxxx-x.vpcepname.2275xxxx-c96f-4xxx-820c-c7xxxxxa7899", "service_port"
-
通过 patch 操作对服务进行更新 - AI开发平台ModelArts
"pool-c8e2-04f258c84780d5a52f3bc00dc15aa5e7" } ] 响应示例 状态码: 200 OK { "update_time" : 1700625410586, "resource_ids" : [ "INF-ae2aa85ce2a3fcac-1700530937033"
-
推理基础镜像详情Pytorch(CPU/GPU) - AI开发平台ModelArts
cudnn:7.6.5.32 Python解释器路径及版本:/home/ma-user/anaconda3/envs/PyTorch-1.8/bin/python, python 3.7.10 三方包安装路径:/home/ma-user/anaconda3/envs/PyTorch-1.8/lib/python3
-
优化算子执行 - AI开发平台ModelArts
channel_shuffle_index_select(x, groups=2): N, C, H, W = x.shape inp = C # channel_shuffle操作是对C维按一定规则的重排的工作,可以被表达为一次简单的重排 group_len =
-
获取API授权关系列表 - AI开发平台ModelArts
"project_id" : "04f258c84780d5a52f3bc00dc15aa5e7", "app_type" : "APIG", "app_codes" : [ "53a7c6de82be4671b93414adf98c1c507d5cef29fbdd48d88a4dddb668b0f0ad"
-
更新模型服务的单个属性 - AI开发平台ModelArts
更新模型服务的单个属性 功能介绍 更新模型服务的单个属性,目前只支持instance_count(更新模型服务实例数量),仅运行中、告警、异常状态下的在线服务可以执行该操作。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生