检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
每个输出序列要生成的最大tokens数量。 top_k 否 -1 Int 控制要考虑的前几个tokens的数量的整数。设置为-1表示考虑所有tokens。 适当降低该值可以减少采样时间。 top_p 否 1.0 Float 控制要考虑的前几个tokens的累积概率的浮点数。必须在 (0, 1] 范围内。设置为1表示考虑所有tokens。
--port表示服务部署的端口。每个全量/增量推理实例基于配置的端口号(--port)启动服务，并按照global rank_table中的全量实例、增量实例的顺序，对全量推理实例、增量推理实例启动的端口号进行排序，端口之间用`,`分隔开作为该环境变量的输入。当前端口9000是对
在AI业务开发以及运行的过程中，一般都会有复杂的环境依赖需要进行调测并固化。面对开发中的开发环境的脆弱和多轨切换问题，在ModelArts的AI开发最佳实践中，通过容器镜像的方式将运行环境进行固化，以这种方式不仅能够进行依赖管理，而且可以方便的完成工作环境切换。配合ModelArts提供的云化容
ion的block大小，推荐设置为128。 --host=${docker_ip}：服务部署的IP，${docker_ip}替换为宿主机实际的IP地址。 --port：服务部署的端口。 --gpu-memory-utilization：NPU使用的显存比例，复用原vLLM的入参名称，默认为0
权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 如果想详细了解脚本执行训练权重转换操作和数据集预处理操作说明请分别参见训练中的权重转换说明和训练的数据集预处理说明。 Step2 修改训练超参配置 以 llama2-70b 和
如果先前基于预置框架且通过指定代码目录和启动文件的方式来创建的训练作业；但是随着业务逻辑的逐渐复杂，您期望可以基于预置框架修改或增加一些软件依赖的时候，可以使用预置框架构建自定义镜像，即在创建训练作业页面选择预置框架名称后，在预置框架版本下拉列表中选择“自定义”。 该方式的训练流程与直接基于预置框架创建的训练作业相同，例如：
String 自定义镜像训练作业的自定义镜像的容器的启动命令。例如python train.py。 parameters Array of Parameter objects 训练作业的运行参数。 policies policies object 作业支持的策略。 inputs Array
创建模型时，如果是从OBS中导入元模型，则需要符合一定的模型包规范。 模型包规范适用于单模型场景，如果是多模型场景（例如含有多个模型文件）推荐使用自定义镜像方式。 ModelArts推理平台不支持的AI引擎，推荐使用自定义镜像方式。 请参考创建模型的自定义镜像规范和从0-1制作自定义镜像并创建模型，制作自定义镜像。
元模型来源参数说明 参数 说明 “容器镜像所在的路径” 单击从容器镜像中导入模型的镜像，其中，模型均为Image类型，且不再需要用配置文件中的“swr_location”来指定您的镜像位置。 制作自定义镜像的操作指导及规范要求，请参见模型镜像规范。 说明： 您选择的模型镜像将共享给系统管理员，请
模型微调是深度学习中的一种重要技术，它是指在预训练好的模型基础上，通过调整部分参数，使其在特定任务上达到更好的性能。 在实际应用中，预训练模型是在大规模通用数据集上训练得到的，而在特定任务上，这些模型的参数可能并不都是最合适的，因此需要进行微调。 AI Gallery的模型微调，简单易
权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 如果想详细了解脚本执行训练权重转换操作和数据集预处理操作说明请分别参见训练中的权重转换说明和训练的数据集预处理说明。 步骤2 修改训练超参配置 以 llama2-70b 和 llama2-13b
--port表示服务部署的端口。每个全量/增量推理实例基于配置的端口号(--port)启动服务，并按照global rank_table中的全量实例、增量实例的顺序，对全量推理实例、增量推理实例启动的端口号进行排序，端口之间用`,`分隔开作为该环境变量的输入。当前端口9000是对
删除开发环境实例，删除的资源包括Notebook容器以及对应的所有存储资源。 通过运行的实例保存成容器镜像 运行的实例可以保存成容器镜像，保存的镜像中，安装的依赖包（pip包）不丢失，VSCode远程开发场景下，在Server端安装的插件不丢失。 查询支持的有效规格列表 查询支持的有效规格列表。
在在线推理服务列表页面，选择服务“状态”为“运行中”的服务。 单击操作列的“推理测试”，在测试页面根据任务类型以及页面提示完成对应的测试。 调用API 待推理服务的状态变为“运行中”时，可单击操作列的“调用”，复制对应的接口代码，在本地环境或云端的开发环境中进行接口。 图1 调用接口 当部署推理服务的“安全认证”选择
String 自定义镜像训练作业的自定义镜像的容器的启动命令。例如python train.py。 parameters Array of Parameter objects 训练作业的运行参数。 policies policies object 作业支持的策略。 inputs Array
本案例仅支持在专属资源池上运行。 专属资源池驱动版本要求23.0.6。 适配的CANN版本是cann_8.0.rc3。 支持的模型列表和权重文件 本方案支持vLLM的v0.6.0版本。不同vLLM版本支持的模型列表有差异，具体如表1所示。 表1 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理
本案例仅支持在专属资源池上运行。 专属资源池驱动版本要求23.0.6。 适配的CANN版本是cann_8.0.rc3。 支持的模型列表和权重文件 本方案支持vLLM的v0.6.3版本。不同vLLM版本支持的模型列表有差异，具体如表1所示。 表1 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理
String>类型。对于数据预处理任务比较特殊的两个场景物体检测和图像分类，键“task_type”对应的值为“object_detection”或“image_classification”。 表6 WorkPath 参数 是否必选 参数类型 描述 name 否 String 数据集的名称。 output_path
ascendfactory-cli方式启动（推荐） 相对于之前demo.sh方式启动（历史版本）的启动方式，本章节新增了通过benchmark工具启动训练的方式。此方式训练完成后json日志或打屏日志直接打印性能结果，免于计算，方便用户验证发布模型的质量。并且新的训练方式将统一管理训练日志、训练结果和训练配置，使用ya
在OBS服务中创建桶和文件夹，用于存放样例数据集以及训练代码。需要创建的文件夹列表如表1所示，示例中的桶名称“test-modelarts”和文件夹名称均为举例，请替换为用户自定义的名称。 创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。 请确保您使用的OBS与ModelArts在同一区域。 表1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
