检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
directory” 日志提示“UnboundLocalError: local variable 'epoch'” 使用订阅算法训练结束后没有显示模型评估结果 创建训练任务并成功运行, 但是发布到至AI Gallery时, 版本那块显示状态异常 使用python3.6-torch1.4版本镜像环境安装
正常 开始构建镜像。 Start to build image. - 异常 构建模型(xxx) 镜像失败，构建日志:\nxxx。 Failed to build image for model (%s %s), docker build log:\n%s.
镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示，请提前了解。
docker exec –it squid bash root@{container_id}:/# squid -k reconfigure 步骤三：设置DNS代理和调用公网地址 在自定义模型镜像时设置代理指向代理服务器私有IP和端口，如下所示。
当model_type设置为Image，表示以自定义镜像方式创建模型，此时swr_location为必填参数。Image镜像制作规范可参见创建模型的自定义镜像规范。 runtime 否 String 模型运行时环境，系统默认使用python2.7。
dockerfile ├── build_image.sh # 推理构建镜像启动脚本 ├──llm_tools # 推理工具包 ├──AutoSmoothQuant # W8A8量化工具 ├─
dockerfile ├── build_image.sh # 推理构建镜像启动脚本 ├──llm_tools # 推理工具包 ├──AutoSmoothQuant # W8A8量化工具 ├─
dockerfile ├── build_image.sh # 推理构建镜像启动脚本 ├──llm_tools # 推理工具包 ├──AutoSmoothQuant # W8A8量化工具 ├─
dockerfile ├── build_image.sh # 推理构建镜像启动脚本 ├──llm_tools # 推理工具包 ├──AutoSmoothQuant # W8A8量化工具 ├─
准备镜像 准备训练模型适用的容器镜像。 训练 启动训练 介绍各个训练阶段：指令微调、PPO强化训练、RM奖励模型、DPO偏好训练使用全参/lora训练策略进行训练任务、性能查看。
图1 购买Lite专属池 k8s Cluster资源配置 如果已完成集群资源购买和开通，则需要对网络、存储、容器镜像等内容进行配置。请参考k8s Cluster环境配置详细流程。 kubectl访问集群配置 本步骤需要在节点机器，对kubectl进行集群访问配置。
图1 购买Lite专属池 k8s Cluster资源配置 如果已完成集群资源购买和开通，则需要对网络、存储、容器镜像等内容进行配置。请参考k8s Cluster环境配置详细流程。 kubectl访问集群配置 本步骤需要在节点机器，对kubectl进行集群访问配置。
使用自定义镜像训练的作业不涉及proc log；使用预置框架训练的proc log日志会生成到训练容器中，且自动保存到OBS。
准备镜像 准备训练模型适用的容器镜像。 准备Notebook 本案例需要创建一个Notebook，以便能够通过它访问SFS Turbo服务。随后，通过Notebook将OBS中的数据上传至SFS Turbo，并对存储在SFS Turbo中的数据执行编辑操作。
图1 购买Lite专属池 k8s Cluster资源配置 若已完成集群资源购买和开通，则需要对网络、存储、容器镜像等内容进行配置。请参考k8s Cluster环境配置详细流程。 kubectl访问集群配置 本步骤需要在节点机器，对kubectl进行集群访问配置。
单击右上角的“上传镜像”，如果能看到授权的组织，表示当前用户具备SWR组织权限。 父主题： 权限配置
当使用Custom引擎时，引擎包需要选择容器镜像，仅当容器镜像中配置了健康检查接口，才能配置“健康检查”，否则会导致模型创建失败。 当前支持以下三种探针： 启动探针：用于检测应用实例是否已经启动。
使用自定义镜像创建在线服务，如何修改默认端口？ 服务预测请求体大小限制是多少？
llm_inference/ascend_vllm/build_image.sh内容，将'ENTRYPOINT ["/home/mind/model/run_vllm.sh"]'修改为'ENTRYPOINT sh /home/mind/model/run_vllm.sh'，并重新构建镜像
准备镜像 准备训练模型适用的容器镜像。 准备Notebook 本案例需要创建一个Notebook，以便能够通过它访问SFS Turbo服务。随后，通过Notebook将OBS中的数据上传至SFS Turbo，并对存储在SFS Turbo中的数据执行编辑操作。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
