检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看日志和性能 查看日志 训练过程中，训练日志会在第一个的Rank节点打印。 图1 打印训练日志 训练完成后，如果需要单独获取训练日志文件，日志存放在第一个的Rank节点中；日志存放路径为：对应表1表格中output_dir参数值路径下的trainer_log.jsonl文件 查看性能
查看日志和性能 查看日志 训练过程中，训练日志会在第一个的Rank节点打印。 图1 打印训练日志 训练完成后，如果需要单独获取训练日志文件，日志存放在第一个的Rank节点中；日志存放路径为：对应表1表格中output_dir参数值路径下的trainer_log.jsonl文件 查看性能
执行训练任务 步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件、自定义数据集，可以忽略此步骤。 未上传训练权重文件，具体参考上传代码和权重文件到工作环境。 使用自定义数据集训练未上传自定义数据集。具体参考上传自定义数据到指定目录章节并更新dataset_info
执行训练任务 步骤一 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件、自定义数据集，可以忽略此步骤。 未上传训练权重文件，具体参考上传代码和权重文件到工作环境。 使用自定义数据集训练未上传自定义数据集。具体参考上传自定义数据到指定目录章节并更新dataset_info
操作类型，取值deploy/delete。 result Boolean 操作结果，true代表成功，false表示操作失败。 父主题： 服务管理
String 调用失败时的错误码。调用成功时无此字段。 error_msg String 调用失败时的错误信息。调用成功时无此字段。 父主题： OBS管理
本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 约束限制 本文档适配昇腾云ModelArts 6.3.907版本，请参考表1获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts Lite Server。 镜像适配的Cann版本是cann_8
使用ModelArts Standard形态下提供的公共资源池完成模型训推，按照使用量计费，方便快捷。选择公共资源池时，可以通过购买套餐包获取优惠的资源费用，请参见购买套餐包。 资源池必须和MaaS服务在同一个Region下，否则无法选择到该资源池。 购买套餐包 MaaS服务提供
管理批量推理作业 查看批量服务详情 查看批量服务的事件 管理批量服务生命周期 修改批量服务配置 父主题： 使用ModelArts Standard部署模型并推理预测
管理标注作业 查看标注作业 在ModelArts数据标注页面可查看用户自己创建的标注作业。 登录ModelArts管理控制台，在左侧菜单栏选择“数据准备>数据标注”，进入数据标注页面。 在“我创建的”页签，可查看自己创建的标注作业。用户可查看自己创建的标注作业的相关信息。 图1 我创建的
管理我的服务 扩缩容模型服务实例数 修改模型服务QPS 升级模型服务
操作资源的权限，ModelArts提供了工作空间功能，管理员可以根据工作空间，隔离不同子用户操作工作空间内资源的权限。工作空间迁移包括资源池迁移和网络迁移，具体方法可见下文说明。 资源池工作空间迁移 登录ModelArts管理控制台，选择“AI专属资源池 > 弹性集群Cluste
0版本。不同vLLM版本支持的模型列表有差异，具体如表1所示。 表1 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化 是否支持W8A8量化 是否支持 kv-cache-int8量化 开源权重获取地址 1 llama-7b √ √ √ √ https://huggingface
支持的模型列表 表1 支持的大语言模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化 是否支持W8A8量化 是否支持W8A16量化 是否支持 kv-cache-int8量化 开源权重获取地址 1 llama-7b √ √ √ √ √ https://huggingface
demo.sh方式启动（历史版本） 本章节介绍历史版本的训练任务启动方式。6.3.912版本同时兼容历史版本的训练任务启动方式。 步骤一：上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件、自定义数据集，可以忽略此步骤。 未上传训练权重文件，具体参考上传代码和权重文件到工作环境。
system：系统提示词，用来为整个对话设定场景或提供指导原则。 tools：描述可用的外部工具或功能的信息，这些工具可能被模型用来执行某些任务或获取更多信息。 [ { "conversations": [ {
system：系统提示词，用来为整个对话设定场景或提供指导原则。 tools：描述可用的外部工具或功能的信息，这些工具可能被模型用来执行某些任务或获取更多信息。 [ { "conversations": [ {
服务内的推理路径，默认为"/"。 表2 predict返回参数说明 参数 描述 返回消息体 输出的参数和值，平台只做转发，不做识别。 父主题： 服务管理
system：系统提示词，用来为整个对话设定场景或提供指导原则。 tools：描述可用的外部工具或功能的信息，这些工具可能被模型用来执行某些任务或获取更多信息。 [ { "conversations": [ {
zip代码包已包含数据集。 精度测试使用的是openai接口，部署服务的时候请使用openai-api启动，暂不支持vllm-api接口。 获取精度测试代码。精度测试代码存放在代码包AscendCloud-3rdLLM的/llm_evaluation目录中，代码目录结构如下： benchmark_eval
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
