检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
zip 大模型推理框架代码包 AscendCloud-OPP-6.3.905-20240611170314.zip 算子依赖包 支持的特性 表1 本版本支持的特性说明 分类 软件包特性说明 参考文档 三方大模型，包名：AscendCloud-3rdLLM 支持如下模型适配PyTorch-NPU的训练。
例如（--param_a=3,--param_b=4）默认为空，非必填" mrs_outputs_description = "数据输出路径, 可以通过从参数列表中获取--train_url参数获取" cluster_id_description = "cluster id of MapReduce Service"
ModelArts入门实践 本章节列举了一些常用的实践案例，方便您快速了解并使用ModelArts完成AI开发。 表1 常用最佳实践 分类 实践案例 描述 适用人群 ModelArts Standard模型训练 基于ModelArts Standard上运行GPU训练任务 本案例介绍了如何使用ModelArts
--quiet --yes -n my-env python=3.6.5 创建完成后，执行conda info --envs命令查看现有的虚拟环境列表，可以看到my-env虚拟环境： sh-4.4$conda info --envs # conda environments: # base
单个资源开通自动续费：选择需要开通自动续费的专属资源池，单击操作列“开通自动续费”。 批量资源开通自动续费：选择需要开通自动续费的专属资源池，单击列表左上角的“开通自动续费”。 选择续费时长，并根据需要设置自动续费次数，单击“开通”。 图2 开通自动续费 在续费管理页面修改自动续费 进入“费用中心
图3 告警条件设置 设置告警通知，单击“立即创建”。 “告警方式”：选择“直接告警” “行动规则”：开启开关，选择已创建的行动规则。如果现有列表中的告警行动规则无法满足需要，可单击“新建告警行动规则”添加，详细操作请参考创建告警行动规则。 “告警恢复通知”：开启开关 图4 设置告警通知
硬件做亲和替换和优化。 接口：离线SDK、在线OpenAI Server和社区完全一致，无缝迁移。 Ascend-vLLM支持的特性介绍 表1 Ascend-vLLM支持的特性 特性名称 特性说明 调度 Page-attention 分块管理kvcache，提升吞吐。 Continuous
精度对比误差统计工具。 自动化精度对比工具。 网络结构可视化工具。 性能调优。 性能测试。 性能调优三板斧。 性能分析与诊断。 迁移测试报告。 推理迁移验收表。 ModelArts开发环境 ModelArts作为华为云上的AI开发平台，提供交互式云上开发环境，包含标准化昇腾算力资源和完整的迁移工具
统的模型交付会直接在实验迭代结束后以输出的模型为终点。当应用上线后，随着时间的推移，会出现模型漂移的问题。新的数据和新的特征在已有的模型上表现会越来越差。在MLOps中，实验迭代的产物将会是一条固化下来的流水线，这条流水线将会包含数据工程、模型算法、训练配置等。用户将会使用这条流
conf sysctl -p | grep net.ipv4.ip_forward 步骤二 制作自定义镜像 准备以下文件用于制作镜像。 下载并解压表1中的AscendCloud插件包，进入aigc_inference/torch_npu/webui/v1_9_0_RC/ 和aigc_in
获取路径：Support-E 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 支持的特性 表1 本版本支持的特性说明 分类 软件包特性说明 参考文档 三方大模型，包名：AscendCloud-LLM 支持如下模型适配PyTorch-NPU的训练。
使用AI资产时，可能需要消耗硬件资源，硬件资源费用将根据实际使用情况，由华为云ModelArts等管理控制台向使用方收取。 已发布的AI资产，如果不需要在资产列表中展示该资产，可以将资产下架。下架后，已发布资产仅发布者可见。已经被订阅的资产，即便资产下架后，基于配额资源的约束，仍然可有效使用该资产，不会因为该资产的下架而产生使用问题。
请求示例curl -X GET \ http://{listen_ip}:8080/health 响应示例 {"health": "true"} 状态码 表1 状态码 状态码 编码 状态码说明 200 OK 请求成功 日志文件输出 为保证日志内容可以正常显示，日志信息需要打印到标准输出。 镜像启动入口
推理场景设置。 httpsEnabled：取值需要修改为false。 multiNodesInferEnabled：取值需要修改true，表示开启多机推理。 interCommTLSEnabled和interNodeTLSEnabled：如果不需要开启安全认证，这2个参数取值需要修改为false。
不填默认使用name的值。 否 str description 描述信息。 否 str create_dir 表示是否自动创建目录，默认为“False”。 否 bool with_execution_id 表示创建目录时是否拼接execution_id，默认为“False”。该字段只有在create
obs_data_dir) 模型推荐的参数与NPU卡数设置 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。 表1 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 训练策略类型 文本序列长度（SEQ_LEN）
obs_data_dir) 模型推荐的参数与NPU卡数设置 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。 表1 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 训练策略类型 文本序列长度（SEQ_LEN）
obs_data_dir) 模型推荐的参数与NPU卡数设置 不同模型推荐的训练参数和计算规格要求如表1所示。规格与节点数中的1*节点 & 4*Ascend表示单机4卡，以此类推。 表1 不同模型推荐的参数与NPU卡数设置 序号 支持模型 支持模型参数量 训练策略类型 文本序列长度（SEQ_LEN）
资源管理：Lite Cluster提供扩缩容、驱动升级等管理手段，您可在ModelArts控制台上对资源进行管理。请参考Lite Cluster资源管理。 表1 相关名词解释 名词 含义 容器 容器技术起源于Linux，是一种内核虚拟化技术，提供轻量级的虚拟化，以便隔离进程和资源。尽管容器技术已经
Id和Secret Access Key）。 “project_id”即项目ID，获取方式如下： 在“我的凭证”页面，单击“API凭证”，在“项目列表”中可查看项目ID和名称（即“项目”）。多项目时，展开“所属区域”，从“项目ID”列获取子项目ID。 图1 查看项目ID “region_n
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
