检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在模型详情页，单击右侧“发布”，在发布模型页面编辑发布信息后，单击“发布”。 表1 发布模型的参数说明 参数名称 说明 中文名称 模型发布后显示的名称，在创建模型时设置的名称，此处不可编辑。 任务类型 选择合适的任务类型。 许可证 必填项，根据业务需求选择合适的许可证类型。 描述 必填项，填写资产简介，模
torch_dtype=torch.bfloat16, trust_remote_code=True, ) 3）为减少量化时间，建议将以下参数设置为512； NUM_CALIBRATION_SAMPLES = 512 执行权重量化： python deepseek_moe_w8a8_int8
torch_dtype=torch.bfloat16, trust_remote_code=True, ) 3）为减少量化时间，建议将以下参数设置为512； NUM_CALIBRATION_SAMPLES = 512 执行权重量化： python deepseek_moe_w8a8_int8
“保存路径”：即导出数据存储的路径。建议不要将数据存储至当前数据集所在的输入路径或输出路径。 图1 导出到OBS 数据导出成功后，您可以前往您设置的保存路径，查看到存储的数据。 在“数据集概览页”，单击右上角“导出历史”，在弹出的“任务历史”对话框中，可以查看该数据集之前的导出任务历史。
NoDiscount instance_num Integer 当前用户创建的该规格实例的数量。 duration Integer 启动后设置的自动停止时间，单位为秒。 store_time Integer 该规格实例处于非活跃状态，在数据库最长保存的时长。单位为小时。 默认为“-1”
评审分数，当前可取A/B/C/D四个值，从高到低排列。 worker_id 否 String 标注成员ID，可调用标注成员列表接口获取。 响应参数 无 请求示例 团队标注审核。设置是否通过为“true”，评审分数为“A”。 { "comments" : [ { "worker_id" : "8c15ad0
torch_dtype=torch.bfloat16, trust_remote_code=True, ) 3）为减少量化时间，建议将以下参数设置为512； NUM_CALIBRATION_SAMPLES = 512 执行权重量化： python deepseek_moe_w8a8_int8
本案例仅支持在专属资源池上运行。 支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
具体如表1所示。 表1 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化 是否支持W8A8量化 是否支持W8A16量化 是否支持 kv-cache-int8量化 开源权重获取地址 1 llama-7b √ √ √ √ √ https://huggingface
具体如表1所示。 表1 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化 是否支持W8A8量化 是否支持W8A16量化 是否支持 kv-cache-int8量化 开源权重获取地址 1 llama-7b √ √ √ √ √ https://huggingface
表3 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 否 String 消息体的类型。设置为text/plain，返回临时预览链接。设置为application/octet-stream，返回临时下载链接。 X-Auth-Token 是 String 用户token。
TMS标签的value。长度不能超过255个字符。 响应参数 状态码： 204 表4 响应Body参数 参数 参数类型 描述 - String 请求示例 创建训练作业标签。设置TMS标签的key/value为“111”和“k3”，TMS标签的key/value为"k3"和“v2”。 POST https:/
面。 选择运行中的Notebook实例，单击实例名称，进入Notebook实例详情页面，单击“扩容”。 图2 Notebook实例详情页 设置待扩充的存储容量大小，单击“确定”。系统显示“扩容中”，扩容成功后，可以看到扩容后的存储容量。 图3 扩容 图4 扩容中 父主题： 管理Notebook实例
在数据集详情页，单击右侧“发布”，在发布数据集页面编辑发布信息后，单击“发布”。 表1 发布数据集的参数说明 参数名称 说明 中文名称 数据集发布后显示的名称，在创建数据集时设置的名称，此处不可编辑。 任务类型 选择合适的任务类型。 许可证 必填项，根据业务需求选择合适的许可证类型。 描述 必填项，填写资产简介，数
模型推荐的参数与NPU卡数设置 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。 表1 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 文本序列长度 并行参数设置 规格与节点数 1 llama2
description 模型备注信息，1-100位长度，不能包含&!'"<>= 否 str execution_code 执行代码存放的OBS地址，默认值为空，名称固定为“customize_service.py”。 推理代码文件需存放在模型“model”目录。该字段不需要填，系统也
确保集群可以访问公网。 训练支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
具体如表1所示。 表1 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化 是否支持W8A8量化 是否支持W8A16量化 是否支持 kv-cache-int8量化 开源权重获取地址 1 llama-7b √ √ √ √ √ https://huggingface
False：训练数据保存在参数obs_path指定的位置中； True：训练数据保存在notebook中，由local_path指定。 obs_path：obs地址。根据is_local_source值的变化，有不同的含义。 is_local_source=False，此时是必选参数，代表训练数据位置，支持文件夹和压缩文件。
String API的认证方式。枚举值如下： NONE：无认证 APP：APP认证 IAM：IAM认证 predict_url String 预测地址。 service_id String 服务编号。 service_name String 服务名称。 support_app_code Boolean
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
