检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
NODE_PORTS：仅在服务入口实例生效，用于与全量推理实例、增量推理实例的信息交互。该参数入参为形如{port1},{port2},{portn}的字符串，与全量或增量推理实例启动的--port参数相关。--port表示服务部署的端口。每个全量/增量推理实例基于配置的端口号(--port)启动服务，并按照global
启动成功的回显 执行如下命令，查看日志。日志显示如图所示表示成功执行动态路由。 kubectl logs {pod-name} 其中{pod-name}替换为实际pod名称，可以在5的回显信息中获取。 图4 成功执行动态路由的回显 只有任务节点大于等于3的训练任务才能成功执行动态路由。 如果执
e}.obs.cn-north-4.myhuaweicloud.com/${folder_name}/pytorch.tar.gz"，需要替换为1中pytorch.tar.gz在OBS上的路径（需将文件设置为公共读）。 进入Dockerfile目录，通过Dockerfile构建镜像命令：
自定义压缩作业名称。 支持1~64位，以中文、大小写字母开头，只包含中文、大小写字母、数字、中划线、下划线的名称。 描述 压缩任务简介。支持1000字符。 模型设置 来源模型 单击“选择模型”，选择“模型广场”或“我的模型”下面的模型。 压缩策略 SmoothQuant-W8A8：Smoo
图2 租户名ID和IAM用户名ID 准备日志收集上传脚本。 修改以下脚本中NpuLogCollection的参数，将ak、sk、obs_dir替换为前面步骤中获取到的值，如果是300IDuo机型将is_300_iduo改为True。然后把该脚本上传到要收集NPU日志的节点上。 import
--backend：服务类型，如tgi，vllm，mindspore、openai。 --host ${docker_ip}：服务部署的IP地址，${docker_ip}替换为宿主机实际的IP地址。 --port：推理服务端口。 --dataset：数据集路径。 --dataset-type：支持三种 "alp
8443:8443：容器内映射到宿主机的端口号，如果已被占用可以使用其他未占用的端口号 进入容器。需要将${container_name}替换为实际的容器名称。 docker exec -it ${container_name} bash 步骤二：上传代码、权重和数据集到容器中 安装插件代码包。
是否使用falcon-11b、qwen2_vl系列、glm4-9b模型。 是，更新配置或命令。 falcon-11b，参考falcon-11B模型替换文件。 glm4-9b，参考glm4-9b模型修改文件内容。 qwen2_vl系列，数据集为多模态数据集，如果前面步骤已配置请忽略。具体配置如下：
--backend：服务类型，如tgi，vllm，mindspore、openai。 --host ${docker_ip}：服务部署的IP地址，${docker_ip}替换为宿主机实际的IP地址。 --port：推理服务端口。 --dataset：数据集路径。 --dataset-type：支持三种 "alp
是否使用falcon-11b、qwen2_vl系列、glm4-9b模型。 是，更新配置或命令。 falcon-11b，参考falcon-11B模型替换文件。 glm4-9b，参考glm4-9b模型修改文件内容。 qwen2_vl系列，数据集为多模态数据集，若前面步骤已配置请忽略。具体配置如下：
是否使用falcon-11b、qwen2_vl系列、glm4-9b模型。 是，更新配置或命令。 falcon-11b，参考falcon-11B模型替换文件。 glm4-9b，参考glm4-9b模型修改文件内容。 qwen2_vl系列，数据集为多模态数据集，若前面步骤已配置请忽略。具体配置如下：
等判别式回答时，max_out_len建议设置小一些，比如16。在运行human_eval等生成式回答（生成式回答是对整体进行评测，少一个字符就可能会导致判断错误）时，max_out_len设置建议长一些，比如512，至少包含第一个回答的全部字段。 batch_size：输入的b
等判别式回答时，max_out_len建议设置小一些，比如16。在运行human_eval等生成式回答（生成式回答是对整体进行评测，少一个字符就可能会导致判断错误）时，max_out_len设置建议长一些，比如512，至少包含第一个回答的全部字段。 batch_size：输入的b
置信度范围，取值范围为[0,1]。 dataset_name String 数据集名称，名称只能是中文、字母、数字、下划线或中划线组成的合法字符串，长度为1-100位。 dataset_type String 数据集类型。可选值如下： 0：图像分类 1：物体检测 3: 图像分割 100：文本分类
下。获取路径参见获取软件和镜像。 解压AscendCloud-AIGC-*.zip文件，解压后将里面指定文件与对应CogVideo文件进行替换，执行以下命令即可。 cd /home/ma-user unzip AscendCloud-AIGC-*.zip -d ./AscendCloud
tant_ids input_ids是user_ids和assistant_ids的拼接 labels与input_ids对应，用-100替换user_ids的token，只保留assistant_ids attention_mask是和input_ids等长的全1序列 返回in
tant_ids input_ids是user_ids和assistant_ids的拼接 labels与input_ids对应，用-100替换user_ids的token，只保留assistant_ids attention_mask是和input_ids等长的全1序列 返回in
是否使用falcon-11b、qwen2_vl系列、glm4-9b模型。 是，更新配置或命令。 falcon-11b，参考falcon-11B模型替换文件。 glm4-9b，参考glm4-9b模型修改文件内容。 qwen2_vl系列，数据集为多模态数据集，如果前面步骤已配置请忽略。具体配置如下：
是否使用falcon-11b、qwen2_vl系列、glm4-9b模型。 是，更新配置或命令。 falcon-11b，参考falcon-11B模型替换文件。 glm4-9b，参考glm4-9b模型修改文件内容。 qwen2_vl系列，数据集为多模态数据集，如果前面步骤已配置请忽略。具体配置如下：
--backend：服务类型，如tgi，vllm，mindspore、openai。 --host ${docker_ip}：服务部署的IP地址，${docker_ip}替换为宿主机实际的IP地址。 --port：推理服务端口。 --dataset：数据集路径，推荐使用human-eval-v2-20210705
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
