检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Step3 启动kv-cache-int8量化服务 在使用OpenAI接口或vLLM接口启动推理服务时添加如下参数： --kv-cache-dtype int8 #只支持int8，表示kvint8量化 --quantization-param-path kv_cache_scales.json
Step3 启动kv-cache-int8量化服务 在使用OpenAI接口或vLLM接口启动推理服务时添加如下参数： --kv-cache-dtype int8 #只支持int8，表示kvint8量化 --quantization-param-path kv_cache_scales.json
删除Notebook实例 删除开发环境实例，删除的资源包括Notebook容器以及对应的所有存储资源。 通过运行的实例保存成容器镜像 运行的实例可以保存成容器镜像，保存的镜像中，安装的依赖包（pip包）不丢失，VSCode远程开发场景下，在Server端安装的插件不丢失。
如果训练作业的工作目录下有core文件生成，可以在启动脚本最前面加上如下代码，来关闭core文件产生。并推荐先在开发环境中进行代码调试。
目前支持vllm.openai，atb的tgi模板 ├── ... ├── eval_test.py # 启动脚本，建立线程池发送请求，并汇总结果 ├── service_predict.py # 发送请求的服务
表2 部署上线所需权限 业务场景 依赖的服务 依赖策略项 支持的功能 配置建议 部署服务 ModelArts modelarts:service:* 部署、启动、查新、更新模型服务。 建议配置。 仅在严格授权模式开启后，需要显式配置左侧权限。
准备镜像 准备推理模型适用的容器镜像。 准备Notebook 本案例在Notebook上部署推理服务进行调试，因此需要创建Notebook。
当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。
"error_msg"："Due to self protection, the backend service is disconnected, please wait moment." 出现该错误，是因为模型报错太多。
URI GET /v2/{project_id}/datasets/{dataset_id}/data-annotations/search-condition 表1 路径参数 参数 是否必选 参数类型 描述 dataset_id 是 String 数据集ID。
此时，该用户组下的所有用户均有权限通过Cloud Shell登录运行中的训练作业容器。 如果没有用户组，也可以创建一个新的用户组，并通过“用户组管理”功能添加用户，并配置授权。如果指定的子用户没有在用户组中，也可以通过“用户组管理”功能增加用户。 父主题： 管理模型训练作业
search_algo_list Array of search_algo_list objects 所有超参搜索算法的列表。 表3 search_algo_list 参数 参数类型 描述 name String 超参搜索算法的名称。
|──scripts_modellink/ # modelLink兼容旧版本启动方式目录 |──Dockerfile AscendFactory/examples/config配置文件目录： |──AscendFactory/examples/
经查看是由于userdata未执行，可能原因为服务器A制作镜像时没有清理残留目录导致，即： 镜像里面“/var/lib/cloud/instances”残留了制作镜像机器（后面称模板机）的实例ID信息，如果制作镜像不清理“/var/lib/cloud/*”就会导致用该镜像再重装模板机时
运行命令示例： 1. python ExcelToJson.py --user_id=001 --excel_addr=xxx.xlsx(.csv) --dataset_name=example --test_count=3 2. python ExcelToJson.py --user_id
parameters：可选参数，一个list，每个元素都是一个字典，包含"name"和"value"两个字段，以"–name=value"的形式传递给训练启动文件。value支持字符串，整数，布尔等类型。
当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。
在训练启动文件被执行前，系统会在 /home/work/user-job-dir/ 目录下执行上述ma-pre-start脚本，使用该机制可以更新容器镜像内安装的Ascend RUN包，或者设置一些训练运行时额外需要的全局环境变量。
表4 CustomHooks 参数 是否必选 参数类型 描述 container_hooks 否 ContainerHooks object 容器相关的钩子配置。
model_service.pytorch_model_service import PTServingBaseService。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
