检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
路径),获取地址参考表1。 解压AscendCloud压缩包及该目录下的训练代码AscendCloud-LLM-xxx.zip,并直接进入到llm_train/AscendSpeed文件夹下面 cd ./llm_train/AscendSpeed 编辑llm_train/Asce
参考表1。 解压AscendCloud压缩包及该目录下的训练代码AscendCloud-LLM-6.3.910-xxx.zip,并直接进入到llm_train/AscendSpeed文件夹下面 unzip AscendCloud-*.zip -d ./AscendCloud &&
参考表1。 解压AscendCloud压缩包及该目录下的训练代码AscendCloud-LLM-6.3.911-xxx.zip,并直接进入到llm_train/AscendSpeed文件夹下面 unzip AscendCloud-*.zip -d ./AscendCloud &&
requirements.txt # 第三方依赖 ├── service_predict.py # 发送请求的服务 上传精度测试代码到推理容器中。如果在Step5 进入容器安装推理依赖软件步骤中已经上传过AscendCloud-3rdLLM-x.x.x.zip并解压,无需重复执行。
pip.conf /home/ma-user/.pip/pip.conf # 设置容器镜像预置环境变量 # 将python解释器路径加入到PATH环境变量中 # 请务必设置PYTHONUNBUFFERED=1, 以免日志丢失 ENV PATH=${ANACONDA_DIR}/e
"project": { "name": "cn-north-1" } } } } 到这里为止这个请求需要的内容就具备齐全了,您可以使用curl、Postman或直接编写代码等方式发送请求调用API。对于获取用户Token接口
服务实例只能调度到指定节点,指定节点不存在则失败。preferred表示弱亲和,服务实例倾向于调度到指定节点,指定节点不满足调度条件,则会调度到其他节点。 pool_infos Array of AffinityPoolInfo objects 配置亲和策略到指定的集群,并指定集群的节点。
参考表1。 解压AscendCloud压缩包及该目录下的训练代码AscendCloud-LLM-6.3.907-xxx.zip,并直接进入到llm_train/AscendSpeed文件夹下面 unzip AscendCloud-*.zip -d ./AscendCloud &&
containerd 默认命名空间是 k8s.io。所以在导入镜像时需要指定命令空间为 k8s.io,否则使用 crictl images 无法查询到。以下命令可选其一进行镜像拉取: 使用 containerd 自带的工具 ctr 进行镜像拉取。 ctr -n k8s.io pull {image_url}
containerd 默认命名空间是 k8s.io。所以在导入镜像时需要指定命令空间为 k8s.io,否则使用 crictl images 无法查询到。以下命令可选其一进行镜像拉取: 使用 containerd 自带的工具 ctr 进行镜像拉取。 ctr -n k8s.io pull {image_url}
containerd 默认命名空间是 k8s.io。所以在导入镜像时需要指定命令空间为 k8s.io,否则使用 crictl images 无法查询到。以下命令可选其一进行镜像拉取: 使用 containerd 自带的工具 ctr 进行镜像拉取。 ctr -n k8s.io pull {image_url}
description String 版本描述信息。 export_images Boolean 发布时是否导出图片到版本输出目录。可选值如下: true:导出图片到版本输出目录 false:不导出图片到版本输出目录(默认值) extract_serial_number Boolean 发布时是否需
如果在准备代码和数据阶段已经上传权重文件、自定义数据集,可以忽略此步骤。 未上传训练权重文件,具体参考上传代码和权重文件到工作环境。 使用自定义数据集训练未上传自定义数据集。具体参考上传自定义数据到指定目录章节并更新dataset_info.json 文件。 Step2 修改训练yaml文件配置 L
自定义加密函数,认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件中密文存放,使用时解密,确保安全。 sdk_decrypt_implementation_func 自定义解密函数,认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险,建议
sample_name 否 String 根据样本名称搜索(含后缀名)。 sample_time 否 String 样本加入到数据集时,会根据样本在OBS上的最后修改时间(精确到天)建立索引,此处可以根据此时间进行搜索。可选值如下: month:搜索往前30天至今天内添加的样本 day:搜索昨天(往前1天)至今天内添加的样本
txt。 下载完成后将上述3个文件数据上传至OBS桶中的imagenet21k_whole文件夹中。上传方法请参考上传数据和算法到OBS。 上传算法到SFS 下载Swin-Transformer代码。 git clone --recursive https://github.co
description String 版本描述信息。 export_images Boolean 发布时是否导出图片到版本输出目录。可选值如下: true:导出图片到版本输出目录 false:不导出图片到版本输出目录(默认值) extract_serial_number Boolean 发布时是否需
发布模型到AI Gallery。 使用AI Gallery微调大师训练模型或使用AI Gallery在线推理服务部署模型。 如果进行模型微调,则“训练任务类型”选择“自定义”。 如果部署为推理服务,则“推理任务类型”选择“自定义” 自定义模型规范(训练) 当托管自定义模型到AI Gallery时,如果模型要支持AI
长度为2到24之间字符串。 500 ModelArts.3057 Task description ({0}) not meeting the specification. 任务描述({0}) 不满足规范 任务描述不规范,不能包含&,!"<>=等特殊字符,且长度在1到100以内。
NPATH} 您选择的启动文件将会被系统自动以python命令直接启动,因此请确保镜像中的Python命令为您预期的Python环境。注意到系统自动注入的PATH环境变量,您可以参考下述命令确认训练作业最终使用的Python版本: export MA_HOME=/home/ma-user;