检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--trust-remote-code 具体参数说明如下： --model ${model_path}：模型地址，模型格式是HuggingFace的目录格式。即Step2 准备权重文件上传的HuggingFace权重文件存放目录。如果使用了量化功能，则使用推理模型量化章节转换后的权重。 --max-
ter资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 购买Cluster资源时如果无可选资源规格，需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254
${container_name}：容器名称，进入容器时会用到，此处可以自己定义一个容器名称。 {image_id} 为docker镜像的ID，即第四步中生成的新镜像id，在宿主机上可通过docker images查询得到。 进入容器。 docker exec -it -u ma-user
${container_name}：容器名称，进入容器时会用到，此处可以自己定义一个容器名称。 {image_id} 为docker镜像的ID，即第四步中生成的新镜像id，在宿主机上可通过docker images查询得到。 进入容器。 docker exec -it -u ma-user
${container_name}：容器名称，进入容器时会用到，此处可以自己定义一个容器名称。 {image_id} 为docker镜像的ID，即第四步中生成的新镜像id，在宿主机上可通过docker images查询得到。 进入容器。 docker exec -it -u ma-user
${container_name}：容器名称，进入容器时会用到，此处可以自己定义一个容器名称。 {image_id} 为docker镜像的ID，即第四步中生成的新镜像id，在宿主机上可通过docker images查询得到。 Step6 启动推理服务 进入容器。 docker exec
可以直接把SFS的目录直接挂载到调试节点的"/mnt/sfs_turbo"目录，或者保证对应目录的内容和SFS盘匹配。 调试时建议使用接近的方式，即：启动容器实例时使用"-v"参数来指定挂载某个宿主机目录到容器环境。 docker run -ti -d -v /mnt/sfs_turbo:/sfs
练作业启动前，自动将数据存储位置中的Checkpoint文件下载到训练容器的本地目录。 图1 训练输出设置 断点续训练建议和训练容错检查（即自动重启）功能同时使用。在创建训练作业页面，开启“自动重启”开关。训练环境预检测失败、或者训练容器硬件检测故障、或者训练作业失败时会自动重新下发并运行训练作业。
筛选出需要导出的数据，然后单击右上角“导出”。 导出方式选择“OBS”，填写相关信息，然后单击“确定”，开始执行导出操作。 “保存路径”：即导出数据存储的路径。建议不要将数据存储至当前数据集所在的输入路径或输出路径。 图12 导出至OBS 数据导出成功后，您可以前往您设置的保存路径，查看到存储的数据。
据及OBS桶。 在线服务：停止在线服务。删除存储到OBS中的数据及OBS桶。 专属资源池：删除专属资源池。按需计费的专属资源池，创建成功后即开始计费，在使用中会持续计费。如果不再使用，需及时删除。包年包月的专属资源池到期后会自动停止使用。 存储到OBS中的数据需在OBS控制台进行
--speculative-model ${container_draft_model_path}：投机草稿模型地址，模型格式是HuggingFace的目录格式。即Step1 准备模型文件和权重文件上传的HuggingFace权重文件存放目录。投机草稿模型为与--model入参同系列，但是权重参数远小于
出来。 否 str initial_config 模型配置相关数据。 否 dict template 模板的相关配置项，使用模板导入模型(即model_type为Template)时必选 否 Template dynamic_load_mode 动态加载模式，当前仅支持"Single"
资源的官网价。 优惠金额 用户使用云服务享受折扣优惠如商务折扣、伙伴授予折扣以及促销优惠等减免的金额。基于官网价的优惠金额。 抹零金额 华为云产品定价精度为小数点后8位（单位：元），因此在计费过程中会产生小数点后8位的资源使用费用。而在实际扣费时，仅扣除到小数点后2位，小数点后第
r资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格，需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254
${container_name}：容器名称，进入容器时会用到，此处可以自己定义一个容器名称。 {image_id} 为docker镜像的ID，即第四步中生成的新镜像id，在宿主机上可通过docker images查询得到。 步骤六 启动推理服务 进入容器。 docker exec -it
推理服务基础参数说明如下： -model ${container_model_path}：模型地址，模型格式是HuggingFace的目录格式。即Step2 准备权重文件上传的HuggingFace权重文件存放目录。如果使用了量化功能，则使用推理模型量化章节转换后的权重。 --max-
否 String 数据集的版本名称。 表4 TemplateParam 参数 是否必选 参数类型 描述 id 否 String 任务类型，即数据处理模板ID。可选值如下： sys_data_analyse：特征分析 sys_data_cleaning：数据清洗 sys_data_augmentation：数据增强
推理服务基础参数说明如下： --model ${container_model_path}：模型地址，模型格式是HuggingFace的目录格式。即Step3 上传代码包和权重文件上传的HuggingFace权重文件存放目录。若使用了量化功能，则使用推理模型量化章节转换后的权重。如果使用
r资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格，需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254
${container_name}：容器名称，进入容器时会用到，此处可以自己定义一个容器名称。 {image_id} 为docker镜像的ID，即第四步中生成的新镜像id，在宿主机上可通过docker images查询得到。 进入容器。 docker exec -it -u ma-user
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
