检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
场景介绍 本文以ChatGLM-6B为例，介绍如何将模型迁移至昇腾设备上训练、模型精度对齐以及性能调优。 主要包含以下步骤： 环境准备 迁移适配 精度对齐 性能调优 父主题： 基于LLM模型的GPU训练业务迁移至昇腾指导
ACLNN_CACHE_LIMIT 用于缓存cann侧的aclnn算子，当空闲时间（free）较大时，可以尝试设置一个较大的数值，如export ACLNN_CACHE_LIMIT=100000 HOST_CACHE_CAPACITY 用于动态shape缓存，当存在动态shape时，设置一个非零正整数，如export
运行结束的训练作业，如“已完成”、“运行失败”、“已终止”、“异常”的作业，不涉及“终止”操作。 删除训练作业 如果不再需要使用此训练作业，建议清除相关资源，避免产生不必要的费用。 请注意，删除训练作业后无法恢复，请谨慎操作。 在“训练作业”页面，删除运行结束的训练作业。您可以单击“操
String 执行策略，可选值如下： retry：重试 stop：停止 continue：继续运行 use_cache Boolean 是否使用的是缓存。 表10 WorkflowConditionExecution 参数 参数类型 描述 result String 执行结果。 metric_list
训练输出（参数名称：）上传完成 训练运行到结束的过程中，关键事件支持手动/自动刷新。 约束限制 训练作业的事件信息系统会自动保存30天，过期会被清除。 查看操作 在ModelArts管理控制台的左侧导航栏中选择“模型训练 > 训练作业”。 在训练作业列表中，单击作业名称进入训练作业详情页面。
ModelArts提供了REST（Representational State Transfer）风格API，支持您通过HTTPS请求调用，调用方法请参见如何调用API。 同时ModelArts还提供多种编程语言的SDK供您使用，SDK的使用方法请参见ModelArts SDK参考。 终端节点
Notebook中快速使用MoXing 本文档介绍如何在ModelArts中调用MoXing Framework接口。 进入ModelArts，创建Notebook实例 登录ModelArts管理控制台，在左侧菜单栏中选择“开发空间>Notebook”，进入“Notebook”管理页面。
推理精度测试 本章节介绍如何进行推理精度测试，请在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evaluation目录中，代码目录结构如下。
通过Function Calling扩展大语言模型对外部环境的理解 本示例将展示如何定义一个获取送货日期的函数，并通过LLM来调用外部API来获取外部信息。 操作步骤 设置Maas的api key和模型服务地址。 import requests from openai import
报错“Permissions for 'x:/xxx.pem' are too open”如何解决？ 报错“ssh: connect to host ModelArts-xxx port xxx: Connection timed out”如何解决？ 报错“Host key verification failed
推理精度测试 本章节介绍如何进行推理精度测试，请在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evaluation目录中，代码目录结构如下。
推理精度测试 本章节介绍如何进行推理精度测试，数据集是ceval_gen、mmlu_gen。 前提条件 确保容器可以访问公网。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evaluation目录中，代码目录结构如下。
默认关闭，在线服务的运行日志仅存放在ModelArts日志系统。 启用运行日志输出后，在线服务的运行日志会输出存放到云日志服务LTS。LTS自动创建日志组和日志流，默认缓存7天内的运行日志。如需了解LTS专业日志管理功能，请参见云日志服务。 说明： “运行日志输出”开启后，不支持关闭。 LTS服务提供的日志查
Open-Sora 1.0基于DevServer适配PyTorch NPU训练指导（6.3.905） 本文档主要介绍如何在ModelArts Lite DevServer上，使用PyTorch_npu+华为自研Ascend Snt9B硬件，完成Open-Sora训练和推理。 资源规格要求
推理精度测试 本章节介绍如何进行推理精度测试，数据集是ceval_gen、mmlu_gen、math_gen、gsm8k_gen、humaneval_gen。 前提条件 确保容器可以访问公网。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendC
创建Notebook并执行性能诊断任务 本文介绍如何创建Notebook并执行性能诊断任务。 操作步骤 创建Notebook实例。 在ModelArts控制台创建一个Notebook实例，选择要使用的AI框架，创建Notebook时可以选择任意镜像。具体参见创建Notebook实例。
推理精度测试 本章节介绍如何进行推理精度测试，请在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-LLM的llm_tools/llm_evalua
SD WebUI推理方案概览 本文档主要介绍如何在ModelArts的DevServer和ModelArts Standard环境上部署Stable Diffusion的WebUI套件，使用NPU卡进行推理。 约束限制 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。
kubectl是Kubernetes集群的命令行工具，配置kubectl后，您可通过kubectl命令操作Kubernetes集群。本文介绍如何配置kubectl工具，操作步骤如下。 登录ModelArts管理控制台，在左侧菜单栏中选择“AI专属资源池 > 弹性集群 Cluster”，进入“弹性集群
String 执行策略，可选值如下： retry：重试 stop：停止 continue：继续运行 use_cache Boolean 是否使用的是缓存。 表11 WorkflowConditionExecution 参数 参数类型 描述 result String 执行结果。 metric_list
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
