检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可以通过执行docker pull、apt-get update/upgrade和pip install命令判断是否可正常访问外部可用的开源软件仓库，若可以正常访问表示环境已连接外部网络。 上述的虚拟机或物理机需要为arm64架构。 建议构建节点安装的Linux系统版本为Ubuntu
PTA_TORCHAIR_DECODE_GEAR_LIST=2,4,6,8,16,32 # 设置动态分档的挡位，根据实际情况设置，另外请不要设置挡位1 export VLLM_ENGINE_ITERATION_TIMEOUT_S=900 # 设置vllm请求超时时间 图模式主要针对小模型的场景，可减少算子下发的瓶颈，目前仅针对Qwen2-1
如何调用API 构造请求 认证鉴权 返回结果
U_CARD_LOSE"} !=2) by (cluster_name, node_ip,type) >=1 图2 告警规则设置 告警级别：选择重要告警。 告警条件：持续时间选择“1分钟”。 设置告警通知（可选）。 如果需要将告警通过邮件、手机方式通知您，可在告警通知处，为此告警
性。 编辑Notebook介绍 在Notebook详情页，单击“项目介绍”。 在基础设置中设置“许可证”、“语言”、“框架”、“任务类型”和“硬件资源”等信息。 单击“确定”。 编辑设置 基本设置 单击右侧的，可以更改Notebook名称和描述。 编辑完成之后单击“确定”。 关联资产
--seq-length：要处理的最大seq length。 --workers：设置数据处理使用执行卡数量 / 启动的工作进程数。 --log-interval：是一个用于设置日志输出间隔的参数，表示输出日志的频率。在训练大规模模型时，可以通过设置这个参数来控制日志的输出。 微调数据集预处理参数说明 微
--seq-length：要处理的最大seq length。 --workers：设置数据处理使用执行卡数量 / 启动的工作进程数。 --log-interval：是一个用于设置日志输出间隔的参数，表示输出日志的频率。在训练大规模模型时，可以通过设置这个参数来控制日志的输出。 微调数据集预处理参数说明 微
选择EulerOS；ECS服务器确保可以访问公网，用于获取镜像和构建镜像。 图3 购买ECS ECS服务器挂载SFS Turbo ECS服务器中手动挂载SFS Turbo步骤如下： 用户可通过CloudShell或SSH等方式登录并访问ECS服务器，进入ECS终端界面。创建/mnt/sfs_turbo目录作为挂载目录
如何切分ModelArts数据集？ 在发布数据集时，仅“图像分类”、“物体检测”、“文本分类”和“声音分类”类型数据集支持进行数据切分功能。 一般默认不启用该功能。启用后，需设置对应的训练验证比例。 输入“训练集比例”，数值只能是0~1区间内的数。设置好“训练集比例”后，“验证集
-xxx.zip上传到${workdir}目录下并解压缩，如：/home/ma-user/ws目录下，以下都以/home/ma-user/ws为例，请根据实际修改。 unzip AscendCloud-*.zip unzip AscendCloud-LLM-*.zip 上传to
通过运行的实例保存成容器镜像 功能介绍 运行的实例可以保存成容器镜像，保存的镜像中，安装的依赖包（pip包）不丢失，VS Code远程开发场景下，在Server端安装的插件不丢失。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API
推理精度测试 本章节介绍如何进行推理精度测试，数据集是ceval_gen、mmlu_gen、math_gen、gsm8k_gen、humaneval_gen。 前提条件 确保容器可以访问公网。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendC
ECS中上传新镜像 Step1 在ECS中Docker登录 在SWR中单击右上角的“登录指令”，然后在跳出的登录指定窗口，单击复制临时登录指令。在创建的ECS中粘贴临时登录指令，即可完成登录。 图1 复制登录指令 Step2 修改并上传镜像 在ECS服务器中输入登录指令后，使用下
卡。device_ip查询命令 for i in {0..7};do hccn_tool -i $i -ip -g; done server_id：当前Server节点的IP地址，涉及4台机器。 container_ip：容器IP地址，无特殊配置时与server_id保存一致。 {
用户结束kernelgateway进程后报错Server Connection Error，如何恢复？ 问题现象 当kernelgateway进程被结束后，出现如下报错，以及选不到Kernel。 图1 报错Server Connection Error截图 图2 选不到Kernel
credential：访问密钥（AK/SK） content 是 String 授权内容。 当授权类型是委托，该字段为委托名称。 当授权类型是访问密钥，该字段为访问密钥ID（AK）。 secret_key 否 String 秘密访问密钥（SK）。仅当授权类型为访问密钥时，需要该字段。
--workers：设置数据处理使用执行卡数量 / 启动的工作进程数。 --log-interval：是一个用于设置日志输出间隔的参数，表示输出日志的频率。在训练大规模模型时，可以通过设置这个参数来控制日志的输出。 用户自定义执行数据处理脚本修改参数说明 若用户要自定义数据处理脚本并且单独执行，同样以
训练速度突然下降以及执行nvidia-smi卡顿如何解决？ 问题现象 在高性能8卡GPU的裸金属上的训练任务突然变慢，以前1个epoch约2小时执行完成，最近1个epoch需要2天才能执行完成，并且执行“nvidia-smi”也明显变很卡顿。 原因分析 根据现象描述可能出现了nvidia-smi
打开”，打开Notebook实例。 ModelArts Lite DevServer 开通裸金属服务器资源请见DevServer资源开通，在裸金属服务器上搭建迁移环境请见裸金属服务器环境配置指导。 父主题： GPU推理业务迁移至昇腾的通用指导
推理精度测试 本章节介绍如何进行推理精度测试，建议在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。若需要在生产环境中进行推理精度测试，请通过调用接口的方式进行测试。 Step1 执行精度测试 精度测试需要数据集进行测试。推荐公共数据集mmlu
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
