检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
PTA_TORCHAIR_DECODE_GEAR_LIST=2,4,6,8,16,32 # 设置动态分档的挡位，根据实际情况设置，另外请不要设置挡位1 export VLLM_ENGINE_ITERATION_TIMEOUT_S=900 # 设置vllm请求超时时间 图模式主要针对小模型的场景，可减少算子下发的瓶颈，目前仅针对Qwen2-1
表2 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 否 String 消息体的类型。设置为text/plain，返回临时预览链接。设置为application/octet-stream，返回临时下载链接。 响应参数 状态码： 200 表3 响应Body参数
发布数据集（ModelArts） 表1 参数说明（ModelArts） 参数 说明 资产标题 在AI Gallery显示的资产名称，建议按照您的目的设置。 来源 选择“ModelArts”。 单个数据集最多支持20000个文件，总大小不超过30G。 ModelArts区域 选择数据集所在的区域，以控制台实际可选值为准。
登录AOM控制台。 在左侧导航栏选择“告警管理 > 告警规则”，单击“创建”，创建告警规则。 设置告警规则（以NPU掉卡为例）。 规则类型：选择“指标告警规则”。 配置方式：选择“PromQL”。 设置告警规则详情。 默认规则：选择“自定义”。 命令行输入框(排除值为2的为无效数据)：
max_out_len：在运行类似mmlu、ceval等判别式回答时，max_out_len建议设置小一些，比如16。在运行human_eval等生成式回答（生成式回答是对整体进行评测，少一个字符就可能会导致判断错误）时，max_out_len设置建议长一些，比如512，至少包含第一个回答的全部字段。 batc
max_out_len：在运行类似mmlu、ceval等判别式回答时，max_out_len建议设置小一些，比如16。在运行human_eval等生成式回答（生成式回答是对整体进行评测，少一个字符就可能会导致判断错误）时，max_out_len设置建议长一些，比如512，至少包含第一个回答的全部字段。 batc
S桶名称）。 “启动文件”：选择代码目录下上传的训练脚本“train.py”。 “输入”：单击“增加训练输入”，设置训练输入的“参数名称”为“data_url”。设置数据存储位置为您的OBS目录，例如 “/test-modelarts-xx/pytorch/mnist-data/
Gallery中订阅的算法不支持另存为新算法。 训练作业卡死检测目前仅支持资源类型为GPU的训练作业。 仅使用新版专属资源池训练时才支持设置训练作业优先级。公共资源池和旧版专属资源池均不支持设置训练作业优先级。 仅支持PyTorch和MindSpore框架的分布式训练和调测，如果MindSpore要进行多
Turbo存储加速的具体方案请查看： 面向AI场景使用OBS+SFS Turbo的存储加速实践。 设置训练存储加速 当完成上传数据至OBS并预热到SFS Turbo中步骤后，在ModelArts Standard中创建训练作业时，设置训练“SFS Turbo”，在“文件系统”中选择SFS Turbo实例名
控制要考虑的前几个tokens的数量的整数。设置为-1表示考虑所有tokens。 适当降低该值可以减少采样时间。 top_p 否 1.0 Float 控制要考虑的前几个tokens的累积概率的浮点数。必须在 (0, 1] 范围内。设置为1表示考虑所有tokens。 temperature
在“专属资源池扩缩容”页面，设置“资源配置 > 可用区”，可用区可选择“随机分配”和“指定AZ”。 选择随机分配时，扩缩容完成后，节点的可用区分布由系统后台随机选择。 选择指定AZ时，可指定扩缩容完成后节点的可用区分布。 修改容器引擎空间大小 扩容资源池时，可以设置新建节点的容器引擎空间
squid bash root@{container_id}:/# squid -k reconfigure 步骤三：设置DNS代理和调用公网地址 在自定义模型镜像时设置代理指向代理服务器私有IP和端口，如下所示。 proxies = { "http": "http://{pro
控制要考虑的前几个tokens的数量的整数。设置为-1表示考虑所有tokens。 适当降低该值可以减少采样时间。 top_p 否 1.0 Float 控制要考虑的前几个tokens的累积概率的浮点数。必须在 (0, 1] 范围内。设置为1表示考虑所有tokens。 temperature
分页列表的起始页，默认为0。 process_parameter 否 String 图像缩略设置，同OBS缩略图设置，详见OBS缩略图设置。如：image/resize,m_lfit,h_200表示等比缩放目标缩略图并设置高度为200像素。 result_property 否 String 样本状
在弹窗中，从“我创建的”或“我收藏的”数据集中选择所需要数据集。 选择完成后，单击“确定”。 数据准备完成后，单击“下一步”进入“作业设置”环节。 设置并启动作业 在微调工作流的“作业设置”环节配置训练作业参数。 算法配置，会显示已选模型的信息，基于已选模型选择微调方式。 当“训练任务类型”是“文本问答”或“文本生成”时，AI
<>=&"'。不设置此参数表示不更新。 config 否 Array of ServiceConfig objects 服务配置，不设置此参数表示不更新。 status 否 String 服务状态，可设置状态为running或stopped来启动、停止服务，不设置此参数则不修改状
节点池名称。比如：nodePool-1。 taints 否 Array of Taint objects 支持给创建出来的节点加taints来设置反亲和性，非特权池不能指定。 labels 否 Map<String,String> k8s标签，格式为key/value键值对。 tags
Serve_from_sub_path设置为true 保存Notebook镜像。 进入Notebook控制台，单击“开发空间 > Notebook”，在Notebook实例列表里找到对应的实例，选择“更多 > 保存镜像”。 在保存镜像对话框中，设置组织、镜像名称、镜像版本和描述信息。单击“确定”保存镜像。
（此参数目前仅适用于Llama3系列模型长序列训练） LR 2.5e-5 学习率设置。 MIN_LR 2.5e-6 最小学习率设置。 SEQ_LEN 4096 要处理的最大序列长度。 MAX_PE 8192 设置模型能够处理的最大序列长度。 SN 1200 必须修改。指定的输入数据集中数据的总数量。更换数据集时，需要修改。
VS Code的配置文件settings.json？ 在ModelArts的Notebook中如何设置VS Code背景色为豆沙绿？ 在ModelArts的Notebook中如何设置VS Code远端默认安装的插件？ 在ModelArts的VS Code中如何把本地插件安装到远端或把远端插件安装到本地？
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
