检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
模型推荐的参数与NPU卡数设置 不同模型推荐的训练参数和计算规格要求如表2所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。 表2 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 文本序列长度 并行参数设置 规格与节点数 1 llama2 llama2-7b
PYTORCH_NPU_ALLOC_CONF=expandable_segments:True：允许分配器最初创建一个段，然后在以后需要更多内存时扩展它的大小。开启时可能提升模型性能。报错则关闭。 --chat-template：对话构建模板，可选参数。如：llava chat-t
delArts使用的桶。 内部资源授权 ModelArts推理当前已支持细粒度授权，租户可以根据实际的权限要求对子用户进行相应的权限配置，限制某些资源的管理，实现权限最小化。 AI应用管理 使用从训练或者从OBS中选择创建AI应用，推荐用户使用动态加载的方式导入，动态加载实现了模
Gallery会基于资产和资源情况分析该任务是否支持设置“商品数量”，用户可以基于业务需要选择任务所需的资源卡数。 在“运行时长控制”选择是否指定运行时长。 不限时长：不限制作业的运行时长，AI Gallery工具链服务部署完成后将一直处于“运行中”。 指定时长：设置作业运行几小时后停止，当AI Gallery
ModelArts的模型可导入所有训练生成的元模型、上传至对象存储服务（OBS）中的元模型和容器镜像中的元模型，可对所有迭代和调试的模型进行统一管理。 约束与限制 自动学习项目中，在完成模型部署后，其生成的模型也将自动上传至模型列表中。但是自动学习生成的模型无法下载，只能用于部署上线。 创建模型、管
Server上的预训练和全量微调方案。训练框架使用的是ModelLink。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 约束限制 本文档适配昇腾云ModelArts 6.3.909版本，请参考表1获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts
程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件，为用户提供推理部署方案，帮助用户使能大模型业务。 约束限制 本方案目前仅适用于部分企业客户。 本文档适配昇腾云ModelArts 6.3.909版本，请参考软件配套版本获取配套版本的软件包，请严格遵照版本配套关系使用本文档。
100，数量需和--request-rate的数量对应。 --max-tokens：输入+输出限制的最大长度，模型启动参数--max-input-length值需要大于该值。 --max-prompt-tokens：输入限制的最大长度，推理时最大输入tokens数量，模型启动参数--max-tota
HiLens技能。 搜索业务所需的免费模型，请参见查找资产。 单击目标模型进入详情页面。 在详情页面您可以查看模型的“描述”、“交付”、“限制”、“版本”和“评论”等信息。 在详情页面单击“订阅”。 如果订阅的是非华为云官方资产，则会弹出“温馨提示”页面，勾选并阅读《数据安全与隐私风险承担条款》和《华为云AI
Cluster上的训练方案。训练框架使用的是ModelLink。 本方案目前仅适用于企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 约束限制 本文档适配昇腾云ModelArts 6.3.909版本，请参考表1获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts
参数类型 说明 job_name 是 String 训练作业名称。限制为1-64位只含数字、字母、下划线和中划线的名称。 job_desc 否 String 对训练作业的描述，默认为“NULL”，字符串的长度限制为[0, 256]。 config 是 Object 创建训练作业需要的参数。详情请参见表3。
实例ID。 请求消息 请求参数如表2所示 表2 请求参数 参数 是否必选 参数类型 说明 description 否 String 配置描述，长度限制为512字符，不可包含特殊字符&<>"'/。 spec 否 Object 实例定义，如表3 spec定义数据结构说明所示。 表3 spec定义数据结构说明
stream 否 False Bool 是否开启流式推理。默认为False，表示不开启流式推理。 n 否 1 Int 返回多条正常结果。 约束与限制： 不使用beam_search场景下，n取值建议为1≤n≤10。如果n>1时，必须确保不使用greedy_sample采样。也就是top_k
100，数量需和--request-rate的数量对应。 --max-tokens：输入+输出限制的最大长度，模型启动参数--max-input-length值需要大于该值。 --max-prompt-tokens：输入限制的最大长度，推理时最大输入tokens数量，模型启动参数--max-tota
PYTORCH_NPU_ALLOC_CONF=expandable_segments:True；允许分配器最初创建一个段，然后在以后需要更多内存时扩展它的大小。开启时可能提升模型性能。报错则关闭。 --chat-template：对话构建模板，可选参数。如： （1）llava ch
PYTORCH_NPU_ALLOC_CONF=expandable_segments:True；允许分配器最初创建一个段，然后在以后需要更多内存时扩展它的大小。开启时可能提升模型性能。报错则关闭。 --chat-template：对话构建模板，可选参数。如： （1）llava ch
S对象存储服务（Object Storage Service）与SFS Turbo文件系统联动，可以实现灵活数据管理、高性能读取等。 约束限制 如果要使用自动重启功能，资源规格必须选择八卡规格。 适配的CANN版本是cann_8.0.rc3，驱动版本是23.0.6。 本案例仅支持
提供推理部署方案，帮助用户使能大模型业务。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 约束限制 推理部署使用的服务框架是vLLM（官网地址：https://github.com/vllm-project/vllm/tree/v0.3
se/”（使用目录作为路径）。 不能直接使用桶作为路径。 输出位置不能与输入位置相同或者是输入位置的子目录。 长度限制：不少于3字符，不能超过700个字符。 字符限制：不允许出现的特殊字符有换行符(\n)、回车符(\r)、制表符(\t)。 表7 Label参数 参数 是否必选 参数类型
DevServer上的预训练和全量微调方案。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 约束限制 本文档适配昇腾云ModelArts 6.3.906版本，请参考表1获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
