检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SFT全参微调权重转换 支持HuggingFace格式权重转换为Megatron格式后再进行SFT全参微调。本章节主要介绍如何将HuggingFace权重转换为Megatron格式。此处的HuggingFace权重文件和转换操作结果同时适用于SFT全参微调和LoRA微调训练。 HuggingFace权重转换操作
WebSocket在线服务开发操作步骤如下： 上传镜像至容器镜像服务 使用镜像创建模型 使用模型部署在线服务 WebSocket在线服务调用 上传镜像至容器镜像服务 将准备好的本地镜像上传到容器镜像服务（SWR）。 使用镜像创建模型 登录ModelArts管理控制台，进入“ 模型管理”页面，单击“创建”，跳转至创建模型页面。
训练权重转换说明 以 llama2-13b 举例，使用训练作业运行 obs_pipeline.sh 脚本后，脚本自动执行权重转换，并检查是否已经完成权重转换的过程。 若已完成权重转换，则直接执行训练任务。若未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf
在线服务鉴权 功能介绍 计费工作流在线服务鉴权。 接口约束 无 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/workflows/service/auth
管理同步在线服务 查看在线服务详情 查看在线服务的事件 管理在线服务生命周期 修改在线服务配置 在云监控平台查看在线服务性能指标 集成在线服务API至生产环境中应用 设置在线服务故障自动重启 父主题： 使用ModelArts Standard部署模型并推理预测
在“创建告警规则”界面，根据界面提示设置ModelArts在线服务和模型负载的告警规则。 方式三：对单个版本设置告警规则 登录管理控制台。 在“服务列表”中选择“管理与监管 > 云监控服务”，进入“云监控服务”管理控制台。 在左侧导航栏，选择“云服务监控 > ModelArts”。 单击在线服务名称前面的小三角，展
在线服务预测报错ModelArts.4503 问题现象 在线服务部署完成且服务已经处于“运行中”的状态后，向运行的服务发起推理请求，报错ModelArts.4503。 原因分析及处理方法 服务预测报错ModelArts.4503有多种场景，常见场景如下： 通信出错 请求报错：{"
ModelArts在线服务处于运行中时，如何填写request header和request body？ 问题现象 部署在线服务完成且在线服务处于“运行中”状态时，通过ModelArts console的调用指南tab页签可以获取到推理请求的地址，但是不知道如何填写推理请求的header及body。
ModelArts在线服务预测时，如何提高预测速度？ 部署在线服务时，您可以选择性能更好的“实例规格”提高预测速度。例如使用GPU资源代替CPU资源。 部署在线服务时，您可以增加“实例数”。 如果实例数设置为1，表示后台的计算模式是单机模式；如果实例数设置大于1，表示后台的计算模
静态shape模型转换 转换静态shape模型需要在模型转换阶段固定模型的输入shape，也就是说每个输入shape是唯一的。静态shape转换主要包括两种场景： 第一种是待转换onnx模型的输入本身已经是静态shape，此时不需要在转换时指定输入shape也能够正常转换为和onnx模
pem文件生成）。 单击“Open”。如果首次登录，PuTTY会显示安全警告对话框，询问是否接受服务器的安全证书。单击“Accept”将证书保存到本地注册表中。 图6 询问是否接受服务器的安全证书 成功连接到云上Notebook实例。 图7 连接到云上Notebook实例 父主题： 使用Notebook进行AI开发调试
使用kubectl工具。 如果通过内网使用kubectl工具，需要将kubectl工具安装在和集群在相同vpc下的某一台机器上。单击kubectl后的“配置”按钮。按照界面提示步骤操作即可。 图3 通过内网使用kubectl工具 通过公网使用kubectl工具，可以将kubectl安装在任一台可以访问公网的机器。
训练的权重转换说明 以llama2-13b举例，使用训练作业运行obs_pipeline.sh脚本后，脚本自动执行权重转换，并检查是否已经完成权重转换的过程。 如果已完成权重转换，则直接执行训练任务。如果未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf
训练的权重转换说明 以llama2-13b举例，使用训练作业运行0_pl_pretrain_13b.sh脚本。脚本同样还会检查是否已经完成权重转换的过程。 如果已完成权重转换，则直接执行预训练任务。如果未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf
训练的权重转换说明 以llama2-13b举例，使用训练作业运行0_pl_pretrain_13b.sh脚本。脚本同样还会检查是否已经完成权重转换的过程。 如果已完成权重转换，则直接执行预训练任务。如果未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf
训练的权重转换说明 以llama2-13b举例，使用训练作业运行0_pl_pretrain_13b.sh脚本。脚本同样还会检查是否已经完成权重转换的过程。 如果已完成权重转换，则直接执行预训练任务。如果未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf
训练的权重转换说明 以llama2-13b举例，使用训练作业运行0_pl_pretrain_13b.sh脚本。脚本同样还会检查是否已经完成权重转换的过程。 若已完成权重转换，则直接执行预训练任务。若未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf
训练的权重转换说明 以llama2-13b举例，使用训练作业运行obs_pipeline.sh脚本后，脚本自动执行权重转换，并检查是否已经完成权重转换的过程。 如果已完成权重转换，则直接执行训练任务。如果未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf
训练的权重转换说明 以llama2-13b举例，使用训练作业运行obs_pipeline.sh脚本后，脚本自动执行权重转换，并检查是否已经完成权重转换的过程。 如果已完成权重转换，则直接执行训练任务。如果未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf
训练的权重转换说明 以llama2-13b举例，使用训练作业运行obs_pipeline.sh脚本后，脚本自动执行权重转换，并检查是否已经完成权重转换的过程。 如果已完成权重转换，则直接执行训练任务。如果未进行权重转换，则会自动执行scripts/llama2/2_convert_mg_hf
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
