检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
llama-7b √ https://huggingface.co/huggyllama/llama-7b 2 llama-13b √ https://huggingface.co/huggyllama/llama-13b 3 llama-65b √ https://huggingface
链接仓库协议。当前支持：ssh，https。 url String 链接仓库地址。 credential Object 证书信息，请参见表30。 表24 credential字段数据结构说明 参数 参数类型 说明 ssh_private_key String ssh私有证书。 access_token
由于欧拉源上没有git-lfs包，所以需要从压缩包中解压使用，在浏览器中输入如下地址下载git-lfs压缩包并上传到服务器的/home目录。 https://github.com/git-lfs/git-lfs/releases/download/v3.2.0/git-lfs-linux-arm64-v3
√ √ https://huggingface.co/huggyllama/llama-7b 2 llama-13b √ √ √ √ https://huggingface.co/huggyllama/llama-13b 3 llama-65b √ √ √ √ https://huggingface
CPU软锁 在解压大量文件可能会出现此情况并造成节点重启。可以适当在解压大量文件时，加入sleep。比如每解压1w个文件，就停止1s。 存储限制 根据规格情况合理使用数据盘，数据盘大小请参考训练环境中不同规格资源大小。 CPU过载 减少线程数。 排查办法 根据错误信息判断，报错原因来源于用户代码。
推理精度测试 本章节介绍如何使用opencompass工具开展语言模型的推理精度测试，数据集是ceval_gen、mmlu_gen、math_gen、gsm8k_gen、humaneval_gen。 约束限制 确保容器可以访问公网。 当前的精度测试仅适用于语言模型精度验证，不适用
链接仓库协议。当前支持：ssh，https。 url String 链接仓库地址。 credential Object 证书信息，请参见表30。 表30 credential字段数据结构说明 参数 参数类型 说明 ssh_private_key String ssh私有证书。 access_token
0.]]。 Step8 精度评估 关闭数据集shuffle，保证训练数据一致。 修改/home/ma-user/open_clip/src/training/data.py文件，搜索get_wds_dataset函数，将两处shuffle关闭，修改代码如下。 if is_train:
# eagle投机对基于 https://github.com/SafeAILab/EAGLE/ 版本实现 xport ENABLE_SPEC_METRIC=0 # 是否关闭投机推理的metric采集功能，关闭有助于提升投机推理性能，默认关闭 如果需要使用eagle投机推理功能，需要进入
G.0201”:“Request entity too large”。请减少预测请求内容后重试。 当使用API调用地址预测时，请求体的大小限制是12MB，超过12MB时，请求会被拦截。 使用ModelArts console的预测页签进行的预测，由于console的网络链路的不同，要求请求体的大小不超过8MB。
该镜像所对应的描述信息，长度限制512个字符。 name 否 String 镜像名称，长度限制512个字符，支持小写字母、数字、中划线、下划线和点。 namespace 否 String 镜像所属组织，可以在SWR控制台“组织管理”创建和查看。 tag 否 String 镜像tag，长度限制64个字
description String 该镜像所对应的描述信息，长度限制512个字符。 dev_services Array of strings 镜像支持的服务。枚举值如下： NOTEBOOK：镜像支持通过https协议访问Notebook。 SSH：镜像支持本地IDE通过SSH协议远程连接Notebook。
文件上传完成前，请不要刷新或关闭上传页面，防止意外终止上传任务，导致数据缺失。 当文件状态变成“上传成功”表示数据文件成功上传至AI Gallery仓库进行托管。单击“完成”返回镜像文件页面。 图1 上传成功 文件上传过程中请耐心等待，不要关闭当前上传页面，关闭页面会中断上传进程。 父主题：
√ √ https://huggingface.co/huggyllama/llama-7b 2 llama-13b √ √ √ √ https://huggingface.co/huggyllama/llama-13b 3 llama-65b √ √ √ √ https://huggingface
description String 该镜像所对应的描述信息，长度限制512个字符。 dev_services Array of strings 镜像支持的服务。枚举值如下： NOTEBOOK：镜像支持通过https协议访问Notebook。 SSH：镜像支持本地IDE通过SSH协议远程连接Notebook。
对训练作业的描述，默认为“NULL”，字符串的长度限制为[0, 256]。 响应参数 无 请求示例 如下以修改uuid为3faf5c03-aaa1-4cbe-879d-24b05d997347的训练作业为例。修改成功后再调用查询训练作业接口即可看到description已被修改。 PUT https://endpo
方式三：使用Python语言发送预测请求。 方式四：使用Java语言发送预测请求。 约束限制 调用API访问在线服务时，对预测请求体大小和预测时间有限制： 请求体的大小不超过12MB，超过后请求会被拦截。 因APIG（API网关）限制，平台每次请求预测的时间不超过40秒。 前提条件 已经获取用户Tok
String 数量单位(英文)。 used_quota Integer 已用配额值。当quota为-1（不限制配额）时，used_quota为null。 请求示例 GET https://{endpoint}/v1/{project_id}/workspaces/ccd05d1a55
请求消息 请求消息如表2所示。 表2 请求参数 参数 是否必选 参数类型 说明 job_desc 是 String 对训练作业的描述，字符串的长度限制为[0, 256]。 响应消息 响应参数如表3所示。 表3 响应参数 参数 参数类型 描述 is_success Boolean 请求是否成功。
具体案例直接实操，请参考《主流开源大模型基于DevServer适配PyTorch NPU训练指导》。该案例以ChatGLM-6B为例，介绍如何将模型迁移至昇腾设备上训练、模型精度对齐以及性能调优。 迁移环境准备 本文以弹性裸金属作为开发环境。弹性裸金属支持深度自定义环境安装，可以
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
