检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择实例规格，规格中描述了服务器类型、型号等信息。 流量限制（QPS） 设置待部署模型的流量限制QPS。 单位：次/秒 说明： 在部署过程中出现错误码“ModelArts.4206”时，表示QPS请求数量达到限制，建议等待限流结束后再重启服务。 实例数 设置服务器个数。 推荐实例数 =
根据需要自定义应用的名称和版本。 模型来源选择“从对象存储服务（OBS）中选择”，元模型选择转换后模型的存储路径，AI引擎选择“Custom”，引擎包选择准备镜像中上传的推理镜像。 系统运行架构选择“ARM”。 图2 设置AI应用 单击“立即创建”开始AI应用创建，待应用状态显示“正常”即完成AI应用创建。
、功能 存在多种角色（如管理员、算法开发者、应用运维），希望限制不同角色只能使用特定功能 逻辑上存在多套“环境”且相互隔离（如开发环境、预生产环境、生产环境），并限定不同用户在不同环境上的操作权限 其他任何需要对特定子用户（组）做出特定权限限制的情况 您是个人用户，但已经在IAM
全参微调：直接在模型上训练，影响模型全量参数的微调训练，效果较好，收敛速度较慢，训练时间较长。 LoRA微调：冻结原模型，通过往模型中加入额外的网络层，并只训练这些新增的网络层参数，效果接近或略差于全参训练，收敛速度快，训练时间短。 增量预训练：在现有预训练模型基础上，利用新数据或特
文本处理时的最大长度，此处为4096，用户可根据自己要求适配。 packing true 可选项。当选用静态数据长度时，可将不足于文本处理时的最大长度数据弥补到文本处理时的最大长度;当选用动态数据长度则去掉此参数。 deepspeed examples/deepspeed/ds_z3_config.json
co/datasets/mit-han-lab/pile-val-backup/resolve/main/val.jsonl.zst，注意需指定到val.jsonl的上一级目录。 详细说明可以参考vLLM官网：https://docs.vllm.ai/en/latest/quantization/auto_awq
SSH：可以通过SSH协议远程连接Notebook。 key_pair_names 否 Array of strings SSH密钥对名称，可以在云服务器控制台（ECS）“密钥对”页面创建和查看。 表4 VolumeReq 参数 是否必选 参数类型 描述 capacity 否 Integer 存储
生效，其中“存量节点标签及污点”、“存量节点资源标签”支持对存量节点同步改动（勾选对应的复选框）。 节点池中更新的“资源标签”信息会同步到节点上。 图2 更新节点池 删除节点池 当有多个节点池时，支持删除节点池，此时在操作列会显示“删除”按钮，单击“删除”后输入“DELETE”并单击“确定”即可。
荐使用：https://huggingface.co/datasets/mit-han-lab/pile-val-backup，注意需指定到val.jsonl的上一级目录。 详细说明可以参考vLLM官网：https://docs.vllm.ai/en/latest/quantization/auto_awq
"tools": "工具描述（选填）" } ] 上传数据到指定目录 将下载的原始数据存放在/home/ma-user/ws/training_data目录下。具体步骤如下： 进入到/home/ma-user/ws/目录下。 创建目录“training_data”，并将原始数据放置在此处。
、功能 存在多种角色（如管理员、算法开发者、应用运维），希望限制不同角色只能使用特定功能 逻辑上存在多套“环境”且相互隔离（如开发环境、预生产环境、生产环境），并限定不同用户在不同环境上的操作权限 其他任何需要对特定子账号（组）做出特定权限限制的情况 您是个人用户，但已经在IAM
"系统提示词（选填）", "tools": "工具描述（选填）" } ] 上传数据到指定目录 将下载的原始数据存放在/mnt/sfs_turbo/training_data目录下。具体步骤如下： 进入到/mnt/sfs_turbo/目录下。 创建目录“training_data”，并将原始数据放置在此处。
文本处理时的最大长度，此处为4096，用户可根据自己要求适配。 packing true 可选项。当选用静态数据长度时，可将不足于文本处理时的最大长度数据弥补到文本处理时的最大长度;当选用动态数据长度则去掉此参数。 deepspeed examples/deepspeed/ds_z3_config.json
文本处理时的最大长度，此处为4096，用户可根据自己要求适配。 packing true 可选项。当选用静态数据长度时，可将不足于文本处理时的最大长度数据弥补到文本处理时的最大长度;当选用动态数据长度则去掉此参数。 deepspeed examples/deepspeed/ds_z3_config.json
荐使用：https://huggingface.co/datasets/mit-han-lab/pile-val-backup，注意需指定到val.jsonl的上一级目录。 详细说明可以参考vLLM官网：https://docs.vllm.ai/en/latest/quantization/auto_awq
sample_name String 根据样本名称搜索（含后缀名）。 sample_time String 样本加入到数据集时，会根据样本在OBS上的最后修改时间(精确到天)建立索引，此处可以根据此时间进行搜索。可选值如下： month：搜索往前30天至今天内添加的样本 day：搜索昨天(往前1天)至今天内添加的样本
SSH：可以通过SSH协议远程连接Notebook。 key_pair_names 否 Array of strings SSH密钥对名称，可以在云服务器控制台（ECS）“密钥对”页面创建和查看。 表4 CustomHooks 参数 是否必选 参数类型 描述 container_hooks 否 ContainerHooks
荐使用：https://huggingface.co/datasets/mit-han-lab/pile-val-backup，注意需指定到val.jsonl的上一级目录。 详细说明可以参考vLLM官网：https://docs.vllm.ai/en/latest/quantization/auto_awq
当使用自定义镜像部署推理服务时，“推理任务类型”默认为“自定义”，且不支持修改。 参数设置 当使用自定义镜像部署推理服务时，如果自定义镜像的“模型文件”中上传了“gallery_inference/inference_params.json”文件，则此处会显示inference_params文件
服务实例只能调度到指定节点，指定节点不存在则失败。preferred表示弱亲和，服务实例倾向于调度到指定节点，指定节点不满足调度条件，则会调度到其他节点。 pool_infos 否 Array of AffinityPoolInfo objects 配置亲和策略到指定的集群，并指定集群的节点。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
