华为云用户手册

部署模型服务 登录ModelArts管理控制台。 在左侧导航栏中，选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。 在ModelArts Studio左侧导航栏中，选择“模型部署”进入服务列表。 单击“部署模型服务”进入部署页面，完成创建配置。 表1 部署模型服务 参数 说明 服务设置 服务名称 自定义部署模型服务的名称。 支持1~64位，以中文、大小写字母开头，只包含中文、大小写字母、数字、中划线、下划线的名称。 描述 部署模型服务的简介。支持256字符。 模型设置 部署模型 单击“选择模型”，从“我的模型”列表中选择需要部署的模型。 资源设置 资源池类型 资源池分为公共资源池与专属资源池。 公共资源池供所有租户共享使用。 专属资源池需单独创建，不与其他租户共享。 实例规格 选择实例规格，规格中描述了服务器类型、型号等信息。 单实例流量限制（QPS） 设置单实例的QPS，可以参考QPS的推荐值说明设置待部署模型的QPS值。 单位：次/秒 说明： 在部署过程中出现错误码“ModelArts.4206”时，表示QPS请求数量达到限制，建议等待限流结束后再重启服务。 实例数 设置服务器个数。设置多个实例可提高总QPS，“总QPS=单实例QPS x 实例数”。 更多选项 事件通知 选择是否打开“事件通知”开关。 开关关闭（默认关闭）：表示不启用 消息通知 服务。 开关打开：表示订阅消息通知服务，当任务发生特定事件（如任务状态变化或疑似卡死）时会发送通知。此时必须配置“主题名”和“事件”。 “主题名”：事件通知的主题名称。单击“创建主题”，前往消息通知服务中创建主题。 “事件”：选择要订阅的事件类型。例如“创建中”、“已完成”、“运行失败”等。 说明： 需要为消息通知服务中创建的主题添加订阅，当订阅状态为“已确认”后，方可收到事件通知。订阅主题的详细操作请参见添加订阅。 使用消息通知服务会产生相关服务费用，详细信息请参见计费说明。 自动停止 当使用付费资源时，可以选择是否打开“自动停止”开关。 开关关闭（默认关闭）：表示任务将一直运行。 开关打开：表示启用自动停止功能，此时必须配置自动停止时间，支持设置为“1小时”、“2小时”、“4小时”、6小时或“自定义”。启用该参数并设置时间后，运行时长到期后将会自动终止任务，准备排队等状态不扣除运行时长。 参数配置完成后，单击“提交”，创建部署任务。 在任务列表，当模型“状态”变成“运行中”时，表示模型部署完成。

查看部署任务信息 登录ModelArts管理控制台。 在左侧导航栏中，选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。 在ModelArts Studio左侧导航栏中，选择“模型部署”进入服务列表。 单击服务名称，进入部署模型服务详情页面，可以查看服务信息。 “详情”：可以查看服务的基本信息，包括服务、模型、资源等设置信息。 “监控”：可以查看服务监控和资源监控信息。 “算力利用率”表示每分钟NPU的平均使用率，当请求率较低时，使用率会显示为0。 “事件”：可以查看服务的事件信息。事件保存周期为1个月，1个月后自动清理数据。 “日志”：可以搜索和查看服务日志。

权重校验 创建模型时，开启权重校验后，平台会自动创建一个权重校验的任务，在模型详情页的作业记录列表可以查看权重校验任务。 图1 查看权重校验任务 当状态显示运行失败时，鼠标悬停在状态即可查看失败信息，根据失败信息处理问题。常见的权限校验失败信息及其处理建议请参见表2。 表2 权重校验常见的失败信息 失败信息 信息解释 处理建议 Unknown error, please contact the operation and maintenance personnel or check the log to locate the specific problem. 未知错误。 查看日志定位处理问题，或者联系技术支持。 Backend model template selection error (metadata error). 后台模型模板选择错误。 查看日志定位处理问题，或者联系技术支持。 Failed to read standard config.json in the background. 后台读取标准config.json失败。 查看日志定位处理问题，或者联系技术支持。 Failed to read generation_config.json. generation_config.json内容格式错误。 检查“generation_config.json”文件中的内容是否为json格式。 The value of do_sample is not set to true in generation_config.json, which is inconsistent with the configured sampling parameters such as temperature, top_p, top_k etc. 在generation_config.json中没有将do_sample的值设置为true，与配置的temperature、top_p、top_k等采样参数矛盾。 将“generation_config.json”文件中的“do_sample”的值设置为“true”。 Failed to read user config.json. config.json不存在或内容不符合json格式。 检查“config.json”文件是否存在，或者是内容是否为json格式。 The quantization_config field is missing in config.json, please check whether it is awq quantization weight. config.json中缺少quantization_config字段，请检查是否为awq量化权重。 检查权重和模型模板是否匹配。 There is an extra quantization_config field in config.json. Please check whether it is a non-quantized weight. config.json中多出quantization_config字段，请检查是否为非量化权重。 检查权重和模型模板是否匹配。 Key fields describing the model structure are missing from config.json, or their values are inconsistent with standard open source. config.json中缺少描述模型结构的关键字段，或其值与标准开源不一致。 检查“config.json”文件中的配置是否与模型官方一致。 Error loading tokenizer in transformers. tranformers加载tokenizer出错。 检查词表文件是否正确。 Error loading weights in transformers. tranformers加载权重出错。 检查权重文件是否正确。

约束限制 用于生成专属模型的模型权重文件需要满足Hugging Face上的对应模型的文件格式要求。 模型权重文件夹下包括权重类文件、词表类文件和配置类文件。 可以使用transformers的from_pretrained方法对模型权重文件夹进行加载。 具体请参见Hugging Face官方文档Documentations。 当选择ChatGLM3-6B、GLM-4-9B、Qwen-7B、Qwen-14B和Qwen-72B模型框架时（模型名字必须一致），需要修改权重配置才能正常运行模型，操作步骤请参见修改权重配置。

查看我的模型详情 登录ModelArts管理控制台。 在左侧导航栏中，选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。 在ModelArts Studio左侧导航栏中，选择“我的模型”进入模型列表。 单击模型名称，进入模型详情页面，可以查看模型“基本信息”和“作业记录”。 基本信息：可以查看模型名称、ID、来源模型等信息。 作业记录：可以查看该模型被用于哪些作业类型，以及当前作业的状态等信息。

删除我的模型 删除操作无法恢复，请谨慎操作。 登录ModelArts管理控制台。 在左侧导航栏中，选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。 在ModelArts Studio左侧导航栏中，选择“我的模型”进入模型列表。 在模型列表，单击模型名称，进入模型详情页面，查看模型的“作业记录”。 如果作业记录为空，则直接执行下一步。 如果作业记录存在作业，则先删除所有作业，再执行下一步。 当模型存在作业记录会删除失败。 在模型详情页，单击右上角的“删除”，在弹窗中输入“DELETE”，单击“确定”，删除模型。

创建我的模型 登录ModelArts管理控制台。 在左侧导航栏中，选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。 进入创建模型页面。 方式一：在ModelArts Studio左侧导航栏中，选择“我的模型”进入模型列表，单击“创建模型”弹出创建模型页面。 方式二：在ModelArts Studio左侧导航栏中，选择“模型广场”，在模型广场选择模型并单击“立即使用”进入模型详情页，单击“创建模型”弹出创建模型页面。 在创建模型页面，配置参数。 表1 创建模型 参数 说明 来源模型 当从“我的模型”进入创建模型页面时，单击选择基础模型完成模型选择。 当从“模型广场”进入创建模型页面时，此处默认呈现选择的模型。 当选择模型后，支持单击“重新选择”更改模型。 模型名称 自定义模型名称。 支持1~64位，以中文、大小写字母开头，只包含中文、大小写字母、数字、下划线（_）、中划线（-）和（.）。 描述 模型简介。支持100字符。 权重设置与词表 默认选择“使用推荐权重”，支持选择“自定义权重”。 “使用推荐权重”：使用平台推荐的权重文件，可提高模型的训练、压缩、部署和调优等服务的使用效率。 “自定义权重”：使用用户自定义的权重文件，需要先将权重文件上传至OBS桶中。且权重文件必须满足约束限制。 权重文件指的是模型的参数集合。 说明： 百川系列模型只支持自定义权重。 选择自定义权重路径 当“权重设置与词表”选择“自定义权重”时，需要选择存放模型权重文件的OBS路径，必须选择到模型文件夹。 权重校验 当“权重设置与词表”选择“自定义权重”时，需要选择是否开启权重文件校验。默认是开启的。 当开启权重校验时，平台会对OBS中的权重文件进行校验，确认其是否满足规范。权限校验常见的失败情况及其处理建议请参见权重校验。 当关闭权重校验时，则不进行校验，创建模型可能会因为权重文件不合规而失败。 参数配置完成后，单击“创建”，创建自定义模型。 在模型列表，当模型“状态”变成“创建成功”时，表示模型创建完成。

使用流程 表1 MaaS使用流程 步骤 操作 说明 相关文档 1 准备工作 在开始使用ModelArts Studio大模型即服务平台前，需要先准备好相关依赖资源，例如创建OBS桶、创建资源池等。 准备MaaS资源 2 模型创建 在ModelArts Studio大模型即服务平台的“模型广场”中选择大模型模板后，需要先创建自定义大模型，才能进行模型训练和推理，才能获得更适合特定领域或任务的大语言模型。 在MaaS中创建模型 3 模型调优 完成数据集的准备后，可以在ModelArts Studio大模型即服务平台开始模型调优。模型调优，即使用训练数据集和验证数据集训练模型。 使用MaaS调优模型 模型压缩 在ModelArts Studio大模型即服务平台支持对自定义模型进行模型压缩，以此提升推理服务性能、降低部署成本。 使用MaaS压缩模型 4 模型部署 ModelArts Studio大模型即服务平台支持将自定义模型部署到计算资源上，便于在“模型体验”或其他业务环境中可以调用该模型。 使用MaaS部署模型服务 5 调用模型服务 在ModelArts Studio大模型即服务平台完成模型部署后，可以再其他业务环境中调用该模型服务进行预测。 调用MaaS部署的模型服务 - 应用体验 ModelArts Studio大模型即服务平台提供了MaaS应用实践中心，为具体的应用场景提供一整套解决方案。 在MaaS应用实践中心查看应用解决方案

应用场景 ModelArts Studio大模型即服务平台（MaaS）的应用场景： 业界主流开源大模型覆盖全 MaaS集成了业界主流开源大模型，含Llama、Baichuan、Yi、Qwen模型系列，所有的模型均基于昇腾AI云服务进行全面适配和优化，使得精度和性能显著提升。开发者无需从零开始构建模型，只需选择合适的预训练模型进行微调或直接应用，减轻模型集成的负担。 零代码、免配置、免调优模型开发 平台结合与100+客户适配、调优开源大模型的行业实践经验，沉淀了大量适配昇腾，和调优推理参数的最佳实践。通过为客户提供一键式训练、自动超参调优等能力，和高度自动化的参数配置机制，使得模型优化过程不再依赖于手动尝试，显著缩短了从模型开发到部署的周期，确保了模型在各类应用场景下的高性能表现，让客户能够更加聚焦于业务逻辑与创新应用的设计。 资源易获取，按需收费，按需扩缩，支撑故障快恢与断点续训 企业在具体使用大模型接入企业应用系统的时候，不仅要考虑模型体验情况，还需要考虑模型具体的精度效果，和实际应用成本。 MaaS提供灵活的模型开发能力，同时基于昇腾云的算力底座能力，提供了若干保障客户商业应用的关键能力。 保障客户系统应用大模型的成本效率，按需收费，按需扩缩的灵活成本效益资源配置方案，有效避免了资源闲置与浪费，降低了进入AI领域的门槛。 架构强调高可用性，多数据中心部署确保数据与任务备份，即使遭遇故障，也能无缝切换至备用系统，维持模型训练不中断，保护长期项目免受时间与资源损耗，确保进展与收益。 大模型应用开发，帮助开发者快速构建智能Agents 在企业中，项目级复杂任务通常需要理解任务并拆解成多个问题再进行决策，然后调用多个子系统去执行。MaaS基于多个优质昇腾云开源大模型，提供优质Prompt模板，让大模型准确理解业务意图，分解复杂任务，沉淀出丰富的多个智能Agent，帮助企业快速智能构建和部署大模型应用。

模型介绍 表1列举了ModelArts Studio大模型即服务平台支持的模型清单，模型详细信息请查看界面介绍。 表1 模型广场的模型系列介绍 模型系列 模型类型 应用场景 支持语言 GLM-4 文本生成 对话问答、长文本推理、代码生成 中文、英文 ChatGLM3 文本生成 对话问答、数学推理、代码生成 中文、英文 百川 文本生成 对话问答、数学推理、代码生成、翻译 中文、英文 Llama 2 文本生成 对话问答、智能创作、文本摘要 英文 Llama 3 文本生成 对话问答、智能创作、文本摘要 英文 Llama 3.1 文本生成 对话问答、智能创作、文本摘要 英文 Yi 文本生成 代码生成、数学推理、对话问答 中文、英文 通义千问1.5 文本生成 代码生成、数学推理、对话问答 英文 通义千问 文本生成 对话问答、智能创作、文本摘要、翻译、代码生成、数学推理 中文、英文 通义千问2 文本生成 多语言处理、数学推理、对话问答 英文 模型分为量化模型和非量化模型，其中，量化模型又包括SmoothQuant-W8A8和AWQ-W4A16两种。 AWQ-W4A16量化模型可以由非量化模型压缩后生成，也可以直接使用开源AWQ权重。 SmoothQuant-W8A8量化模型只能由非量化模型压缩生成。 ModelArts Studio大模型即服务平台已预置非量化模型与AWQ-W4A16量化模型的模型模板。 非量化模型可以支持调优、压缩、部署等操作。 量化模型仅支持部署操作。当需要获取SmoothQuant-W8A8量化模型时，则可以通过对非量化模型进行模型压缩获取。

步骤1：获取API Key 在调用MaaS部署的模型服务时，需要填写API Key用于接口的鉴权认证。 登录ModelArts管理控制台。 在左侧导航栏中，选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。 在ModelArts Studio左侧导航栏中，选择“鉴权管理”。 在“鉴权管理”页面，单击“创建API Key”，填写描述信息后，单击“确认”会返回“您的密钥”，请复制保存密钥，单击“关闭”后将无法再次查看密钥。 最多支持创建5个密钥，密钥只会在新建后显示一次，请妥善保存。 当密钥丢失将无法找回，请新建API Key获取新的访问密钥。

模型调优时长估算 调优时长表示调优任务的“状态”处于“运行中”的耗时。由于训练吞吐有上下限，因此计算出的调优时长是个区间。 计算公式：调优时长 = 经验系数 x Iterations ÷（卡数 x 实例数 x 吞吐） 单位：小时 表3 参数说明 参数 说明 经验系数 经验系数与模型训练迭代过程中处理的序列长度和批次大小有关，当前默认为36。 Iterations 创建调优任务时设置的“迭代步数/Iterations”超参值。 卡数 和创建调优任务时选择的“实例规格”相关，例如，“实例规格”选择的是“Ascend: 2*ascend-snt9b2(64GB) ”，*号前面的数字是2，则卡数就是2。 实例数 创建调优任务时设置的“实例数”。 吞吐 吞吐表示每秒每卡处理的Tokens数量，吞吐值的上下限可以参考表4获取。 单位：tokens/s/p 表4 各模型的吞吐数据参考 模型名称 训练类型 吞吐下限取整 吞吐上限取整 Baichuan2-13B sft 1200 1600 lora 1300 1800 ChatGLM3-6B sft 2000 2700 lora 2300 3100 Llama2-13B sft 1300 1800 lora 1400 1900 Llama2-70B sft 300 400 lora 400 500 Llama2-7B sft 3100 4200 lora 3500 4700 Llama3-70B sft 300 400 lora 300 500 Llama3-8B sft 2100 2800 lora 2300 3100 Qwen-14B sft 1200 1600 lora 1400 1900 Qwen-72B sft 300 400 lora 300 500 Qwen-7B sft 2100 2900 lora 2200 3000 Qwen1.5-14B sft 1300 1700 lora 1400 1800 Qwen1.5-32B sft 600 800 lora 700 900 Qwen1.5-72B sft 300 400 lora 300 500 Qwen1.5-7B sft 2200 3000 lora 2600 3600 Qwen2-0.5B sft 12800 17300 lora 12800 17300 Qwen2-1.5B sft 7300 9800 lora 7300 9900 Qwen2-72B sft 300 300 lora 300 400 Qwen2-72B-1K sft 300 300 lora 300 400 Qwen2-7B sft 2300 3200 lora 2600 3500

查看调优任务详情 登录ModelArts管理控制台。 在左侧导航栏中，选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。 在ModelArts Studio左侧导航栏中，选择“模型调优”进入任务列表。 单击任务名称，进入调优任务详情页面，可以查看任务详情和日志。 “详情”：可以查看任务的基本信息，包括任务、模型、资源等设置信息。 “日志”：可以搜索、查看和下载任务日志。 查看loss：当作业进入训练流程之后，会按照Step进行loss打印，因此在日志中搜索关键字段“lm loss”即可查看loss。 获取训练吞吐数据：在打印的loss日志中搜索关键字段“elapsed time per iteration”获取每步迭代耗时，总的Token数可以用日志中的“global batch size”和“SEQ_LEN”相乘获得，训练的每卡每秒的吞吐=总Token数÷每步迭代耗时÷总卡数。

支持的数据集格式 jsonl格式 一行数据就是数据集中的一条样本，建议总的数据样本不少于2000条，如下所示是一行数据集的示例，单轮对话也可以复用此格式。 {"conversation_id": 1, "chat": {"turn_1": {"Human":"text","MOSS":"text"},"turn_2": {"Human":"text","MOSS":"text"}}} “conversation_id”是样本编号。 “chat”后面是多轮对话的内容 “turn_n”表示是第n次对话，每次对话都有输入（对应Human角色）和输出（对应MOSS角色）。其中Human和MOSS仅用于角色区分，模型训练的内容只有text指代的文本。 单击下载，获取示例数据集“simple_moss.jsonl”，该数据集可以用于文本生成类型的模型调优。 xlsx和csv格式 表格里的一行数据就是一条样本。表格中仅有3个字段：conversation_id、human和assistant。 conversation_id：对话ID，可以重复，但必须是正整数。若有多组Human-assiant对话使用同一个ID，则会按照文件中的顺序，将这几组对话编排成一个多轮对话。 human：对话输入，内容不能为空。 assistant：对话输出，内容不能为空。 请按数据集格式要求准备数据，否则会导致调优任务失败。

创建调优任务 登录ModelArts管理控制台。 在左侧导航栏中，选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。 在ModelArts Studio左侧导航栏中，选择“模型调优”进入任务列表。 单击“创建调优任务”进入创建页面，完成创建配置。 表2 创建调优任务 参数 说明 任务设置 任务名称 自定义调优任务名称。 支持1~64位，以中文、大小写字母开头，只包含中文、大小写字母、数字、中划线、下划线的名称。 描述 调优任务简介。支持1000字符。 模型设置 模型来源 单击“选择模型”，从“我的模型”列表中选择需要调优的模型。 选择调优类型 全参微调：直接在模型上训练，影响模型全量参数的微调训练，效果较好，收敛速度较慢，训练时间较长。 LoRA微调：冻结原模型，通过往模型中加入额外的网络层，并只训练这些新增的网络层参数，效果接近或略差于全参训练，收敛速度快，训练时间短。 调优后的模型名称 设置调优后产生的新模型的名称。 支持1~64位，以中文、大小写字母开头，只包含中文、大小写字母、数字、下划线（_）、中划线（-）和（.）。 数据设置 添加数据集 选择存放训练数据集的OBS路径，必须选择到文件。 说明： 数据集必须满足要求（请参见约束限制），否则调优会失败。 调优后模型权重保存路径 选择存放调优后的模型权重文件的OBS路径。 说明： 权重文件要存放在空文件夹中，否则会覆盖原有文件。 超参设置 迭代步数/Iterations 设置模型参数/权重更新的次数。在调优过程中，每一个Iterations会消耗32条训练数据。 当数据集是数百量级，则建议迭代4~8个epoch（epoch表示整个数据集被完整地用于一次训练的次数）；当数据集是数千量级，则建议迭代2~4个epoch；当数据集是更大数量，则建议迭代1~2个epoch。 总Iterations = 整个数据集完整训练需要的Iterations * epoch。例如，当一个数据集有3200条数据，完整训练一个数据集的Iterations为100，迭代2个epoch，总Iterations就是200。 取值范围：0~100000 默认值：1000 学习率/learning_rate 设置每个迭代步数（iteration）模型参数/权重更新的速率。学习率设置得过高会导致模型难以收敛，过低则会导致模型收敛速度过慢。 取值范围：0~0.1 默认值：0.00002 建议微调场景的学习率设置在10-5这个量级。 资源设置 资源池类型 资源池分为公共资源池与专属资源池。 公共资源池供所有租户共享使用。 专属资源池需单独创建，不与其他租户共享。 实例规格 选择实例规格，规格中描述了服务器类型、型号等信息，仅显示模型支持的资源 实例数 设置实例数。 更多选项 永久保存日志 选择是否打开“永久保存日志”开关。 开关关闭（默认关闭）：表示不永久保存日志，则任务日志会在30天后会被清理。可以在任务详情页下载全部日志至本地。 开关打开：表示永久保存日志，此时必须配置“日志路径”，系统会将任务日志永久保存至指定的OBS路径。 事件通知 选择是否打开“事件通知”开关。 开关关闭（默认关闭）：表示不启用消息通知服务。 开关打开：表示订阅消息通知服务，当任务发生特定事件（如任务状态变化或疑似卡死）时会发送通知。此时必须配置“主题名”和“事件”。 “主题名”：事件通知的主题名称。单击“创建主题”，前往消息通知服务中创建主题。 “事件”：选择要订阅的事件类型。例如“创建中”、“已完成”、“运行失败”等。 说明： 需要为消息通知服务中创建的主题添加订阅，当订阅状态为“已确认”后，方可收到事件通知。订阅主题的详细操作请参见添加订阅。 使用消息通知服务会产生相关服务费用，详细信息请参见计费说明。 自动停止 当使用付费资源时，可以选择是否打开“自动停止”开关。 开关关闭（默认关闭）：表示任务将一直运行直至完成。 开关打开：表示启用自动停止功能，此时必须配置自动停止时间，支持设置为“1小时”、“2小时”、“4小时”、6小时或“自定义”。启用该参数并设置时间后，运行时长到期后将会自动终止任务，准备排队等状态不扣除运行时长。 参数配置完成后，单击“提交”，创建调优任务。 在任务列表，当模型“状态”变成“已完成”时，表示模型调优完成。

约束限制 表1列举了支持模型调优的模型，不在表格里的模型不支持使用MaaS调优模型。 当选择ChatGLM3-6B、GLM-4-9B、Qwen-7B、Qwen-14B和Qwen-72B模型框架进行模型调优时，在创建模型时需要修改权重配置才能正常运行模型。详细配置请参见修改权重配置。 表1 支持模型微调的模型 模型名称 全参微调 lora微调 Baichuan2-13B √ √ ChatGLM3-6B √ √ Llama2-13B √ √ Llama2-70B √ √ Llama2-7B √ √ Llama3-70B √ √ Llama3-8B √ √ Qwen1.5-14B √ √ Qwen1.5-32B √ √ Qwen1.5-72B √ √ Qwen1.5-7B √ √ Qwen2-72B √ √ Qwen2-72B-1K √ √ Qwen2-7B √ √ Qwen-72B √ √ Qwen-14B √ √ Qwen-7B √ √ Qwen2-1.5B √ √ Qwen2-0.5B √ √

步骤3：部署模型服务 “llama3.1”模型创建成功后，在我的模型列表，单击操作列的“部署”，进入部署模型服务页面。 在部署模型服务页面，完成创建配置。 图5 资源设置 表2 部署模型服务 参数 说明 取值样例 服务设置 服务名称 自定义模型服务的名称。 service-llama3 描述 部署模型服务的简介。 - 模型设置 部署模型 当从“我的模型”进入部署模型服务页面时，此处默认呈现选择的模型。 llama3.1 资源设置 资源池类型 资源池分为公共资源池与专属资源池。 公共资源池供所有租户共享使用。 专属资源池需单独创建，不与其他租户共享。 公共资源池 实例规格 选择实例规格，规格中描述了服务器类型、型号等信息。 xxx 流量限制（QPS） 设置待部署模型的流量限制QPS。 3 实例数 设置服务器个数。 推荐实例数 = 流量限制 ÷ 推荐的单实例流量限制 1 更多选项 事件通知 选择是否打开“事件通知”开关。 开关关闭（默认关闭）：表示不启用消息通知服务。 开关打开：表示订阅消息通知服务，当任务发生特定事件（如任务状态变化或疑似卡死）时会发送通知。此时必须配置“主题名”和“事件”。 “主题名”：事件通知的主题名称。单击“创建主题”，前往消息通知服务中创建主题。 “事件”：选择要订阅的事件类型。例如“创建中”、“已完成”、“运行失败”等。 关闭 自动停止 当使用付费资源时，可以选择是否打开“自动停止”开关。 开关关闭（默认关闭）：表示任务将一直运行。 开关打开：表示启用自动停止功能，此时必须配置自动停止时间，支持设置为“1小时”、“2小时”、“4小时”、6小时或“自定义”。启用该参数并设置时间后，运行时长到期后将会自动终止任务，准备排队等状态不扣除运行时长。 关闭 参数配置完成后，单击“提交”，创建部署任务。 在任务列表，当模型“状态”变成“运行中”时，表示模型部署完成。

准备工作 已 注册华为账号 并开通华为云，且在使用ModelArts前检查账号状态，账号不能处于欠费或冻结状态。 配置委托访问授权 ModelArts使用过程中涉及到与OBS、SWR等服务交互，首次使用ModelArts需要用户配置委托授权，允许访问这些依赖服务。 使用华为云账号登录ModelArts管理控制台，在左侧导航栏单击“权限管理”，进入“权限管理”页面，单击“添加授权”。 在弹出的“访问授权”窗口中， 授权对象类型：所有用户（或根据实际情况配置） 委托选择：新增委托 权限配置：普通用户 选择完成后勾选“我已经详细阅读并同意《ModelArts服务声明》”，然后单击“创建”。 图1 配置委托访问授权 完成配置后，在ModelArts控制台的权限管理列表，可查看到此账号的委托配置信息。 图2 查看委托配置信息

步骤1：创建我的模型 登录ModelArts管理控制台。 在左侧导航栏中，选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。 在ModelArts Studio左侧导航栏中，选择“模型广场”进入模型广场。 在模型广场搜索“Llama3.1-8B”，单击“立即使用”进入模型详情页。 在模型详情页，单击“创建模型”弹出创建模型页面。 在创建模型页面，配置参数。 图3 创建模型 表1 创建模型 参数 说明 取值样例 来源模型 当从“模型广场”进入创建模型页面时，此处默认呈现选择的模型。 Llama3.1-8B 模型名称 自定义模型名称。 llama3.1 描述 模型简介。 - 权重设置与词表 默认选择“使用推荐权重”，支持选择“自定义权重”。 使用平台推荐的权重文件，可提高模型的训练、压缩、部署和调优等服务的使用效率。 权重文件指的是模型的参数集合。 使用推荐权重 参数配置完成后，单击“创建”，创建自定义模型。 在模型列表，单击模型名称可以进入详情页查看模型详细信息和任务。 当模型“状态”变成“创建成功”时，表示模型创建完成。 图4 查看我的模型状态

功能分支工作流优点 并行开发。支持团队成员在不影响主分支的情况下独立开发新功能或修复问题。 代码隔离。每个分支都是独立的，即一个分支上的更改不会影响其他分支，降低了代码冲突的风险。 快速迭代。通过创建和合并分支，团队可以快速迭代新功能或修复，加快软件开发的速度。 易于管理。分支的创建和合并可以通过Git命令行工具或图形界面进行，使得版本控制更加直观和方便。 代码检视。在合并分支之前进行代码检视，有助于确保代码质量和团队成员之间的知识共享。 回退和撤销。支持代码回退和撤销，使得在开发过程中出现问题时可以快速恢复到之前的状态。

功能分支工作流流程 创建代码仓库。Repo目前支持新建自定义代码仓库、按模板新建代码仓库、Fork已有的代码仓库，也支持从本地导入已有的代码仓库、导入Git平台的代码仓、导入SVN平台的代码仓。 开发者在本地创建分支并开发代码或者在线创建分支分支并开发代码。 开发者提交更改的代码文件到缓存区。Repo目前支持使用Git Bash提交代码、在Eclipse提交代码。 开发者新建合并请求。 开发者解决检视意见。 Committer合入合并请求。

仓库名称页签：查看分支或标签版本的文件详情内容 “仓库名称”页签位于仓库详情中，其默认状态显示主分支的文件详情内容，如下图所示。 其中包含字段： 文件：文件或文件夹的名称。 提交信息：此文件或文件夹的上次提交信息（commit的-m），单击可定位到此次提交记录。 创建者：此文件或文件夹的上次提交创建者。 更新时间：此文件或文件夹的上次更新时间。 编辑、删除操作需要填写提交信息，相当于git commit中的-m消息，其可以用于11.7-查看关联工作项。

管理仓库文件 单击文件名称，可对该文件进行管理，功能如下： 当您将浏览器窗口最大化时，上图下拉菜单中的功能会平铺展示。 文件名称：查看文件详细内容。 表1 界面说明 界面功能 功能说明 文件容量 显示此时该文件的容量大小。 全屏显示 将该文件窗口扩展为全屏。 复制源代码 复制所展开文件内容到剪切板。 查看原始数据 可查看该文件的原始数据。 编辑 在线编辑文件。 下载 直接将此文件下载到本地。 删除 单独删除文件。 文件内容 显示文件的全部内容。 图标 单击可添加检视意见。 修改追溯：查看文件的修改历史并追溯。 在这个页面，修改者与修改内容相互对应，单击“提交信息名称”可以跳转到该次提交的详情中。 历史：查看文件的提交历史。 在这个页面，可以对提交历史做如下操作： 单击“提交记录名称”，可以跳转到该次提交的详情中。 单击可扩展功能如下： 新建分支。 新建Tag：可针对此次提交补打标签。（什么是标签？） Cherry-Pick：把此次提交作为最新的提交覆盖到某条分支上，这是一种版本找回方式。 Revert：还原此次提交。 查看代码。 对比：提交的差异对比。 在代码托管控制台对比出的差异，其展现形式优于Git Bash客户端，可以在界面选择不同提交批次，进行差异对比。 本服务中的差异对比，其对比结果其实是显示您从左侧仓库版本向右侧仓库版本合并时对右侧仓库内文件所产生的影响，所以如果您想全面了解两个文件版本的差异，可以调整左右位置后再次对比，结合两次结果了解全部差异。

历史页签：查看分支或标签版本的提交历史 “历史”页签位于仓库详情中，其显示分支或标签版本的提交历史，如下图所示。 在这个页面，可以对提交历史做如下操作： 单击“提交记录名称”，可以跳转到该次提交的详情中。 单击可扩展功能如下： 新建分支。 新建Tag：可针对此次提交补打标签。（什么是标签？） Cherry-Pick：把此次提交作为最新的提交覆盖到某条分支上，这是一种版本找回方式。 Revert：还原此次提交。 查看代码。

文件列表 文件列表位于该仓库“文件”页签的左侧，文件列表包含以下功能： 单击分支名称，切换分支、标签：切换后的分支、标签后会显示对应版本的文件目录。 单击检索图标：单击弹出搜索页面，可对文件列表进行搜索定位。 单击图标，可扩展功能如下： 新建文件/重命名文件/新建目录/新建子模块支持创建多级目录，多级目录以/分隔，如'java/com'。 新建文件。 在代码托管仓库控制台新建文件，等同于“文件的新建 → add → commit→ push”操作，会生成提交记录。 在“新建文件”页面，填写文件名称，选择目标模板类型，选择编码类型，填写文件内容及提交信息后，单击“确定”完成新文件的创建。 “提交信息”字段相当于git commit中的-m消息，可以用于11.7-查看关联工作项。 新建目录。 在代码托管仓库控制台新建目录，其实是一次“文件夹结构的新建 → add → commit→ push”，会生成提交记录。 新建目录后在目录的最深层会默认新建一个.gitkeep文件，这是因为Git不允许提交空文件夹。 在“新建目录”页面，填写目录名称，及提交信息后，单击“确定”完成新目录的创建。 新建子模块。 上传文件。 在代码托管仓库控制台上传文件，其实是一次“文件的新建 → add → commit→ push”，会生成提交记录。 在“上传文件”页面，选择上传的目标文件，填写提交信息后，单击“确定”完成新文件的上传。 鼠标停留在文件夹名称处，单击显示的图标，可该文件夹下进行以上操作。 鼠标停留在文件名称处，单击显示图标即可修改文件名称。 在代码托管仓库控制台修改文件名称，其实是一次“文件的名称修改 → add → commit→ push”，会生成提交记录。 单击文件名称可将该文件内容显示于页面右侧，可对文件进行修改文件内容、追溯文件修改记录、查看历史记录、对比等操作。

购买CodeArts Repo套餐 使用 IAM 账号登录CodeArts Repo购买页面。 在购买CodeArts Repo套餐页面，参考下表填写购买参数。 表1 购买CodeArts Repo套餐参数表格 参数 说明 计费模式 该参数不可修改，默认为包年/包月。CodeArts Repo套餐的计费模式为包月或者包年。 区域 该参数必填。当前CodeArts Repo中国站支持如下局点：华北-北京一、华北-北京四、华东-上海一、华东-上海二、华南-广州、西南-贵阳一。 说明： 不同区域购买的资源不能跨区域使用，请谨慎选择。 中国站支持购买国际站区域。 产品 该参数不可修改，默认为CodeArts Repo套餐。 规格 该参数必填，根据您的需要，选择基础版或者专业版套餐。 基础版，该套餐提供以下功能：分支权限管理、代码评审、仓库配置和工作项关联。您可以使用总容量不超过50GB的代码仓库，每个仓库的容量最大为10GB，每次推送的文件大小不超过200MB，并且您可以创建任意数量的代码仓库。 专业版，该套餐提供以下功能：包含基础版所有功能，并且提供合并请求模板、检视意见分类及模板和星级评价。您可以使用总容量不超过500GB的代码仓库，每个仓库的容量最大为20GB，每次推送的文件大小不超过300MB，并且您可以创建任意数量的代码仓库。 说明： 基础版更适用于个人开发者和小微型企业，专业版适用于中大型企业。 购买人数 该参数必填，根据您的需要，选择购买人数，至少1人，最多9999人。 购买时长 该参数必填，根据您的需要，选择购买时长，支持购买1~9个月、1~3年。您还可以根据需要，选择是否勾选自动续费，请参考自动续费规则，关于续费时长，如果您是按月购买，每次续费1个月，次数不限；如果您是按年购买：每次续费1年，次数不限。 协议 该参数必填。 填完购买参数后，确认订单内容无误后，单击“去支付”，付款后，进入Repo控制台页，左上角切换到您购买的区域，可查看到购买的套餐信息。 如果您当前正处于套餐期，无法进行购买操作。 如果您想要体验一站式体验一站式、全流程、安全可信的软件开发生产线(CodeArts)，您可以使用IAM账号登录开通/购买软件开发生产线服务组合套餐，购买CodeArts套餐，CodeArts套餐包含的Repo套餐。

配置代码仓库的企业微信通知设置 表2 企业微信通知设置的参数说明 参数 说明 Webhook地址 该参数必填。用于识别CodeArts Repo成员组所添加机器人的Webhook地址，长度上限为500字符。 仓库 该参数非必填。根据您想收到的微信通知设置即可，包含两个个选项，默认勾选如下两个选项，并且您可以选择想要邮件通知的对象： 如果勾选“删除仓库”，表示有成员删除仓库时，系统将通过邮件通知的方式告知您。 如果勾选“容量预警”，表示超过设置的容量阈值，系统将通过邮件通知的方式告知您，并且您可以下拉选择阈值：60%、80%和90%。 合并请求 该参数非必填，根据您的需要勾选对应选项即可，包含如下选项： 合并请求状态变更。表示开启、更新或者合并请求状态时，会通过微信机器人的方式推送通知。默认勾选的状态：开启、合并。 合并请求检视审核。包括“检视”和“审核”两种状态。 合并请求评审意见。默认勾选“新建”状态，还可以根据需要，勾选是否要通知“解决”状态。

配置代码仓库的邮件通知设置 表1 邮件通知设置的参数说明 参数 说明 仓库 该参数非必填。根据您想收到的邮件通知设置即可，包含四个选项，默认勾选“冻结仓库”和“关闭仓库”，且不可更改，如果仓库出现冻结或者关闭，邮件将通知仓库所有者和项目管理员。另外两个选项如下，并且您可以选择想要邮件通知的对象： 如果勾选“删除仓库”，表示有成员删除仓库时，系统将通过邮件通知的方式告知您。 如果勾选“容量预警”，表示超过设置的容量阈值，系统将通过邮件通知的方式告知您，并且您可以下拉选择阈值：60%、80%和90%。 合并请求 该参数非必填，根据您的需要勾选对应选项即可，包含如下选项： 开启合并请求。表示有合并请求开启时(包括新建和重开合并请求)，会邮件通知到您勾选的角色，默认勾选的角色：评审人、审核人、检视人和合并人。 更新合并请求。表示更新合并请求关联分支的代码时，会推送更新邮件，默认勾选的角色：评审人、审核人和检视人。 合并合并请求。表示合并请求时，会推送邮件，默认勾选的角色：MR创建人。还可以勾选“合并人”。 检视合并请求。表示会推送邮件通知检视合并请求，默认勾选角色：MR创建人。 审核合并请求。表示会推送邮件通知审核合并请求，默认勾选角色：MR创建人。 新建评审意见。表示会将新建的评审意见推送给选中角色，默认勾选角色：MR创建人。 解决评审意见。表示会推送邮件给选中角色，让其解决评审意见，默认勾选角色：MR创建人。 如果在CodeArts Repo已打开邮件通知设置，但仍未收到相关邮件通知，请前往CodeArts的消息设置，检查邮箱配置、邮件通知是否开启。

权限管理 代码组的权限管理位于代码组详情中“设置”页签下。 您可根据下表给各角色配置权限。 代码组权限矩阵仅支持项目管理员及各层代码组的所有者修改。 如果该仓库成员是从代码组下继承的，那么其角色默认为代码组角色，在仓库中修改该仓库成员的角色后，单击“成员列表”页签下仓库成员所在行对应操作列的按钮时，则该角色权限会改为之前代码组角色。 表1 代码组角色权限 角色/功能 操作权限 项目经理 Committer 开发人员 系统工程师 测试经理、测试人员、参与者、运维经理和产品经理 浏览者 自定义角色 代码组 新建 B B B B C D C 删除 B D D D D D C 设置 B D D D D D C 仓库 新建 B B B B C D C Fork B B B B C D C 删除 B D D D D D C 设置 B D D D D D C 代码 提交 B A A A C D C 下载 B A A A C D C 成员 添加 B D D D D D C 修改 B D D D D D C 删除 B D D D D D C 分支 新建 B B B B C D C 删除 B B B B C D C Tag 新建 B B B B C D C 删除 B C C C C D C MR 新建 B B B B C D C 编辑 B B C C D D C 评论 B B B B C C C 检视 B B B B D C C 审核 B B C C D D C 合并 B B C C D D C 关闭 B B C C D D C 重开 B B C C D D C A：表示该角色默认拥有该权限且不可被移除。 B：表示该角色默认拥有该权限且可被移除。 C：表示该角色可分配到该权限。 D：表示该角色不可分配到该权限。 仓库级权限管理位于仓库详情中“设置”页签下。 您可根据下表给各角色配置权限。 表2 仓库级角色权限 角色/功能 操作权限 项目经理 Committer 开发人员 系统工程师 测试经理、测试人员、参与者、运维经理和产品经理 浏览者 自定义角色 仓库 Fork B B B B C D C 删除 B D D D D D C 设置 B D D D D D C 代码 提交 B A A A C D C 下载 B A A A C D C 成员 添加 B D D D D D C 修改 B D D D D D C 删除 B D D D D D C 分支 新建 B B B B C D C 删除 B B B B C D C Tag 新建 B B B B C D C 删除 B C C C C D C MR 新建 B B B B C D C 编辑 B B C C D D C 评论 B B B B C C C 检视 B B B B D C C 审核 B B C C D D C 合并 B B C C D D C 关闭 B B C C D D C 重开 B B C C D D C A：表示该角色默认拥有该权限且不可被移除。 B：表示该角色默认拥有该权限且可被移除。 C：表示该角色可分配到该权限。 D：表示该角色不可分配到该权限。 父主题： 配置代码组

配置“MR预合并” 当MR创建后，您可自定义WebHook、流水线等下载插件的脚本，即下载代码内容可以由您自己控制。 如果勾选“MR预合并”，则服务端会帮助您生成一个隐藏分支，表示该MR代码已经合入，进而您可以直接下载已经存在在隐藏分支的代码。 如果未勾选“MR预合并”，您需要在客户端本地做预合并，即分别下载MR源分支、MR目标分支的代码，并在构建执行机自己做合并动作。 操作命令 服务端预合并命令如下： git init git remote add origin ${repo_url克隆/下载地址} git fetch origin +refs/merge-requests/${repo_MR_iid}/merge:refs/${repo_MR_iid}merge 如果未勾选，则可以通过客户端做预合并操作，本地新建干净的工作目录，命令如下： git init git remote add origin ${repo_url克隆/下载地址} git fetch origin +refs/heads/${repoTargetBranch}:refs/remotes/origin/${repoTargetBranch} git checkout ${repoTargetBranch} git fetch origin +refs/merge-requests/${repo_MR_iid}/head:refs/remotes/origin/${repo_MR_iid}/head git merge refs/remotes/origin/${repo_MR_iid}/head --no-edit 功能优势 对于构建实时性要求高的场景，如：一个MR可能拉起几十或上百台服务器的构建，本地/客户端做预合并可能会与服务端产生的结果不一致，导致构建代码获取不够准确、构建结果不准确等问题。使用服务端预合并可以解决该实时性问题，并且构建脚本命令更简单，开发人员或CIE更好上手。