检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资源池中节点的AZ信息。 nodePool 否 String 节点池名称。比如:nodePool-1。 taints 否 Array of Taint objects 支持给创建出来的节点加taints来设置反亲和性,非特权池不能指定。 labels 否 Map<String,String>
练为例: 表1 模型训练脚本参数 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH /home/ma-user/work/training_data/pretrain/train-00000-of-00001-a09b74b3ef9c3b56.parquet
表1 模型训练脚本参数 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH /home/ma-user/ws/llm_train/AscendSpeed/training_data/pretrain/alpaca.parquet 必须修改。训练时指定的输入数据路径。请根据实际规划修改。
克隆GitHub开源仓库文件到JupyterLab 在Notebook的JupyterLab中,支持从GitHub开源仓库Clone文件。 通过JupyterLab打开一个运行中的Notebook。 单击JupyterLab窗口上方导航栏的ModelArts Upload Fil
kernelgateway --KernelGatewayApp.ip=${HOST_IP} --KernelGatewayApp.port=8889 --KernelGatewayApp.api=${API_TYPE} --KernelGatewayApp.auth_token=${JPY_AUTH_TOKEN}
/v2/{project_id}/training-jobs/{training_job_id}/tasks/{task_id}/logs/url 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 training_job_id
co/01-ai/Yi-6B-Chat 14 yi-34b https://huggingface.co/01-ai/Yi-34B-Chat 15 ChatGLMv3 glm3-6b https://huggingface.co/THUDM/chatglm3-6b 16 Baichuan2
动态扩充云硬盘EVS容量 什么是动态扩容EVS 存储配置采用云硬盘EVS的Notebook实例, 存储盘是挂载至容器/home/ma-user/work/目录下, 可以在实例运行中的状态下,动态扩充存储盘容量,单次最大动态扩容100GB。 动态扩容EVS适用于哪些使用场景 在No
py”),任务会在启动容器后执行。 config.yaml内容如下: apiVersion: apps/v1 kind: Deployment metadata: name: yourapp labels: app: infers spec: replicas: 1 selector:
AI引擎Scikit_Learn0.18.1的运行环境怎么设置? 在ModelArts的算法管理页面,创建算法时勾选“显示旧版镜像”,选择XGBoost-Sklearn引擎即可。 ModelArts创建算法操作请参见创建算法。 ModelArts创建训练作业操作请参见创建训练作业。
日志提示“Please set the train_url to an empty obs directory” 问题现象 日志提示“Please set the train_url to an empty obs directory”。 原因分析 对于不支持断点训练的模型,若选
训练作业的日志出现detect failed(昇腾预检失败) 问题现象 训练启动的日志出现如下相关错误: time="2023-05-27T07:07:08Z" level=error msg="detect failed, error: dsmi-checker detect failed, error:
coding=utf-8 import requests import json if __name__ == '__main__': url = "xxxxxxxxxx/v1/chat/completions"
在ModelArts创建训练作业界面选择AI框架时,有一个AI框架是“Ascend-Powered-Engine”,它既不是一个AI框架(如:PyTorch、TensorFlow)也不是一个并行执行框架(如:MPI),而是适配加速芯片Ascend的一组AI框架+运行环境+启动方式的集合。
模型训练脚本参数 参数 示例值 参数说明 ORIGINAL_TRAIN_DATA_PATH /home/ma-user/ws/llm_train/AscendSpeed/training_data/pretrain/train-00000-of-00001-a09b74b3ef9c3b56
sh需要自定义。示例如下: #!/bin/bash # 自定义脚本内容 ... # run.sh调用app.py启动服务器,app.py请参考https示例 python app.py 除了按上述要求设置启动命令,您也可以在镜像中自定义启动命令,在创建模型时填写与您镜像中相同的启动命令。
ModelArts job submission and query job details. dli-job DLI spark job submission and query job details. auto-completion Auto complete
模型来源不同。订阅模型,模型来源于AI Gallery;云服务订阅模型,模型来源于其他AI服务开发的模型。 订阅模型列表 在ModelArts的“模型管理>订阅模型”页面中,罗列了从AI Gallery订阅的所有模型。 订阅模型,可通过如下操作获得: “订阅模型”列表,单击“AI Gallery订阅模型”,跳转至“AI
lder_type一致。 否 Any placeholder_format 支持的format格式数据,当前支持obs、flavor、train_flavor、swr、pacific。 否 str delay 参数是否运行时输入,默认为“False”,在工作流启动运行前进行配置。
若要在生产环境中进行精度测试,还需修改benchmark_eval/config/config.json中app_code,app_code获取方式见访问在线服务(APP认证)。 Step2 查看精度测试结果 默认情况下,评测结果会按照result/{service_name}