检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
理 统一管理 AI 开发全流程，提升开发效率，记录模型构建实验全流程 多场景部署，灵活满足业务需求 支持云端/边端部署等多种生产环境 支持在线推理、批量推理、边缘推理多形态部署 AI工程化能力，支持AI全流程生命周期管理 支持MLOps能力，提供数据诊断、模型监测等分析能力，训练智能日志分析与诊断
向信息，通过工具构造相应的API单元测试，将NPU输出与标杆比对，从而检测出精度有差异的API。更多介绍请参考Msprobe工具离线预检和在线预检介绍。 父主题： PyTorch迁移精度调优
Step1 上传权重文件 将权重文件上传到集群节点机器中。权重文件的格式要求为Huggingface格式。开源权重文件获取地址请参见支持的模型列表和权重文件。 如果使用模型训练后的权重文件进行推理，模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。 Step2
Lite Server算力资源和镜像版本配套关系 Lite Server提供多种NPU、GPU镜像，您可在购买前了解当前支持的镜像及对应详情。 NPU Snt9裸金属服务器支持的镜像详情 镜像名称：ModelArts-Euler2.8_Aarch64_Snt9_C78 表1 镜像详情
环境准备 开通裸金属服务器资源（详情请参见裸金属服务器资源），并在裸金属服务器上搭建迁移环境（详情请参见裸金属服务器环境配置指导）。 启动华为云预置镜像环境。本示例使用贵阳一的镜像环境。 # shell docker run --privileged --name chatglm-test
添加HiLens版本：在版本框右侧单击“添加版本”弹出“创建新版本”页面，选择需要用于新版本的HiLens技能，添加“版本说明”，编辑完成之后单击“确定”版本列表新增版本。 添加HiLens版本时，先在HiLens平台修改HiLens的技能版本，然后在AI Gallery中添加版本。 编辑完成后，单击右上方的“保存”完成修改。
构建成功后将新镜像上传至SWR（参考6）。 在ModelArts上创建训练作业。 登录ModelArts管理控制台。 在左侧导航栏中，选择“模型训练 > 训练作业”进入训练作业列表。 单击“创建训练作业”，进入创建训练作业页面，填写作业信息，创建方式参考表1，其他参数填写请参考创建训练作业。 表1 创建训练作业的创建方式（使用自定义镜像）
称。 表4 NodePoolSpec 参数 参数类型 描述 resources PoolResource object 节点池中的资源信息列表，包括资源规格和相应规格的资源数量，自定义配置等。 表5 PoolResource 参数 参数类型 描述 flavor String 资源规格名称，比如：modelarts
开发者快速了解并学习大模型。 构建零门槛线上模型体验，零基础开发者开箱即用，初学者三行代码使用所有模型 通过AI Gallery的AI应用在线模型体验，可以实现模型服务的即时可用性，开发者无需经历繁琐的环境配置步骤，即可直观感受模型效果，快速尝鲜大模型，真正达到“即时接入，即时体验”的效果。
何获取。 ModelArts针对多种引擎提供了样例及其示例代码，您可以参考样例编写您的配置文件和推理代码，详情请参见ModelArts样例列表。ModelArts也提供了常用AI引擎对应的自定义脚本示例，请参见自定义脚本代码示例。 如果您在导入元模型过程中遇到问题，可联系华为云技术支持协助解决故障。
称。 表5 NodePoolSpec 参数 参数类型 描述 resources PoolResource object 节点池中的资源信息列表，包括资源规格和相应规格的资源数量，自定义配置等。 表6 PoolResource 参数 参数类型 描述 flavor String 资源规格名称，比如：modelarts
default_logits_pattern print(logits_pattern) 您也可以通过如下接口，获取MoXing支持的网络名称列表。 import moxing.tensorflow as mox print(help(mox.NetworkKeys)) 打印出来的示例如下所示：
解决方法：降低transformers版本到4.42：pip install transformers==4.42 --upgrade 问题6：部署在线服务报错starting container process caused "exec: \"/home/mind/model/run_vllm
配置Lite Server软件环境 NPU服务器上配置Lite Server资源软件环境 GPU服务器上配置Lite Server资源软件环境 父主题： Lite Server资源配置
资源购买 购买弹性文件服务SFS 弹性文件服务默认为按需计费，即按购买的存储容量和时长收费。您也可以购买包年包月套餐，提前规划资源的使用额度和时长。在欠费时，您需要及时（15天之内）续费以避免您的文件系统资源被清空。SFS购买指导请参考如何购买弹性文件服务？。 购买容器镜像服务SWR
name String 模板名称。 operator_params Array of OperatorParam objects 算子的参数列表。 表5 OperatorParam 参数 参数类型 描述 advanced_params_switch Boolean 高级参数开关。 id
查项出现故障时，隔离故障硬件并重新下发训练作业。针对于分布式场景，容错检查会检查本次训练作业的全部计算节点。 推理部署故障恢复 用户部署的在线推理服务运行过程中，如发生硬件故障导致推理实例故障，ModelArts会自动检测到并迁移受影响实例到其它可用节点，实例启动后恢复推理请求处
ModelArts计费模式概述 ModelArts服务提供包年/包月和按需计费两种计费模式，以满足不同场景下的用户需求。如您需要快速了解ModelArts服务不同计费模式的具体价格，请参见ModelArts价格详情。 包年/包月：一种预付费模式，即先付费再使用，按照订单的购买周期
（参考链接）。 选择站点：此处的站点必须和远程连接的Notebook在同一个站点，否则会导致连接失败。 登录成功后显示Notebook实例列表。 此处仅显示ModelArts控制台default工作空间下的Notebook实例。 图7 登录成功 Step3 创建Notebook实例
rk目录下，该目录下的内容在实例停止后会被保留。可以自定义磁盘空间，如果需要存储数据集、模型等大型文件，建议申请规格300GB+。存储支持在线按需扩容。 图2 自定义存储配置 使用Notebook将OBS数据导入云硬盘EVS 打开已创建的Notebook实例，选择Notebook的python-3
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
