检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
填写ascend_vllm文件夹绝对路径。 高阶配置（可选）。 词表切分。 在分布式场景下，默认不使用词表切分能提升推理性能，同时也会增加单卡的显存占用。不建议开启词表并行，如确需使用词表切分，配置以下环境变量： export USE_VOCAB_PARALLEL=1 #打开词表切分开关 unset USE_VOCAB_PARALLEL
此时，该用户组下的所有用户均有权限查看该用户组内成员创建的所有Notebook实例。 如果没有用户组，也可以创建一个新的用户组，并通过“用户组管理”功能添加用户，并配置授权。如果指定的子账号没有在用户组中，也可以通过“用户组管理”功能增加用户。 子账号启动其他用户的SSH实例 子账号可以看到所
Standard模型训练 在ModelArts训练得到的模型欠拟合怎么办？ 在ModelArts中训练好后的模型如何获取？ 在ModelArts上如何获得RANK_TABLE_FILE用于分布式训练？ 在ModelArts上训练模型如何配置输入输出数据？ 在ModelArts上如何提升训练效率并减少与OBS的交互？
训练、ZeRO内存优化等高级特性，以提高训练效率和性能 stage sft 表示训练类型。可选择值：[pt、sf、rm、ppo]，pt代表预训练，sft代表指令监督微调，rm代表奖励模型训练，ppo代表PPO训练。 finetuning_type full 用于指定微调的类型，可
model_baseline_performance表示调优前模型执行时间，单位为ms。 model_performance_improvement表示调优后模型执行时间减少百分比。 model_result_performance表示调优后模型执行时间。 repo_summary中的信息表示调优过程中使用到的
_64.whl tensorflow-1.8.0-cp36-cp36m-manylinux1_x86_64.whl 方式二：可以在启动文件添加如下代码安装依赖包： import os os.system('pip install xxx') 方式一在训练作业启动前即可完成相关依赖
使用前必读 在调用ModelArts API之前，请确保已经充分了解ModelArts相关概念，详细信息请参见产品介绍。 ModelArts提供了REST（Representational State Transfer）风格API，支持您通过HTTPS请求调用，调用方法请参见如何调用API。
为您自动填入虚拟私有云、子网和节点IP。 创建内网域名：保持默认值。 确认规格无误后，单击“立即购买”后提交任务，界面自动跳转至终端节点列表页面。 创建DNS内网域名 新创建的在线服务对接的是专享版APIG，需要使用ModelArts推理的独立公网域名，即infer-modelarts-<regionId>
Server资源和Ascend Snt9B。推理需要单机单卡。 表1 环境要求 名称 版本 CANN cann_8.0.rc2 PyTorch pytorch_2.1.0 驱动 23.0.5 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6
objects 搜索算法配置。 表66 reward_attrs 参数 参数类型 描述 name String 指标名称。 mode String 搜索方向。 max指定时表示指标值越大越好； min指定时表示指标值越小越好。 regex String 指标正则表达式。 表67 search_params
他方式来启动。MA_RUN_METHOD环境变量支持torchrun和msrun。 当“MA_RUN_METHOD=torchrun”时，表示ModelArts Standard平台使用torchrun命令启动训练作业的“启动文件”。 要求PyTorch版本大于等于1.11.0。
准备训练模型适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest-2.myhuaweicloud.com/a
准备训练模型适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest-2.myhuaweicloud.com/a
n`模式表示生成rank_table文件，`merge`模式表示合并global rank_table文件。 --save-dir：保存生成的rank_table文件的根目录，默认为当前目录。 --api-server：仅在`gen`模式有效，可选输入，当存在该输入时，表示分离部
gen模式表示生成rank_table文件，merge模式表示合并global rank_table文件。 --save-dir：保存生成的rank_table文件的根目录，默认为当前目录。 --api-server：仅在`gen`模式有效，可选输入，当存在该输入时，表示分离部署
Server资源和Ascend Snt9B。 获取软件和镜像 表1 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6.3.911软件包中的AscendCloud-CV-6.3.911-xxx.zip 文件名中的xxx表示具体的时间戳，以包名发布的实际时间为准。 获取
介绍如何迁移到推理自定义引擎。 第三方案例列表 第三方案例来源为华为云开发者社区“云驻计划”。由于ModelArts产品的持续更新和迭代，第三方案例中的界面和步骤可能因时效性而与最新产品有所差异，仅供学习和参考。 表6 第三方案例列表 分类 文章名称 作者 Standard自动学习
说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 支持的模型列表和权重文件 本方案支持vLLM的v0.6.0版本。不同vLLM版本支持的模型列表有差异，具体如表3所示。 表3 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化
章节ModelArts统一镜像列表。 各模块独有的镜像：仅适用单个模块（例如训练的预置镜像只能用于训练），此类镜像为ModelArts早期的镜像，后续会陆续下线。对应章节Notebook专属预置镜像列表、训练专属预置镜像列表、推理专属预置镜像列表。 自定义镜像：用户参照ModelArts镜像规范制作的镜像。
硬件做亲和替换和优化。 接口：离线SDK、在线OpenAI Server和社区完全一致，无缝迁移。 Ascend-vLLM支持的特性介绍 表1 Ascend-vLLM支持的特性 特性名称 特性说明 调度 Page-attention 分块管理kvcache，提升吞吐。 Continuous
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
