检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
发布和管理AI Gallery中的AI应用 使用AI Gallery微调大师训练模型 使用AI Gallery在线推理服务部署模型 Gallery CLI配置工具指南 计算规格说明
创建Workflow数据集导入节点 创建Workflow数据集版本发布节点 创建Workflow训练作业节点 创建Workflow模型注册节点 创建Workflow服务部署节点 父主题： 开发Workflow命令参考
主流开源大模型基于Lite Server适配PyTorch NPU推理指导（6.3.911） 推理场景介绍 部署推理服务 推理性能测试 推理精度测试 推理模型量化 Eagle投机小模型训练 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 父主题：
aaS和SaaS类各项云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思
更新代码目录下data/dataset_info.json文件。如使用以下示例数据集则命令如下。关于数据集文件格式及配置，更多样例格式信息请参考README_zh.md 的内容。 vim dataset_info.json 新加配置参数如下： "alpaca_gpt4_data": { "file_name":
Standard自动学习、Workflow、Notebook、模型训练、模型部署 Lite Cluster Lite Server Standard自动学习、Workflow、Notebook、模型训练、模型部署 变更计费模式 不支持 支持变更为包年/包月计费模式。 变更计费模式 变更规格
主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.911） 推理场景介绍 准备工作 部署推理服务 推理性能测试 推理精度测试 推理模型量化 Eagle投机小模型训练 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题
示例：从 0 到 1 制作自定义镜像并用于训练（MPI+CPU/GPU） 使用ModelArts Standard一键完成商超商品识别模型部署 专属资源池训练
主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.909） 推理场景介绍 准备工作 部署推理服务 推理性能测试 推理精度测试 推理模型量化 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题 附录：工作负载Pod异常问题和解决方法
计算过程如下： 创建自动学习项目时，无法直接选择专属资源池。可在项目创建成功后，进入自动学习详情页，然后单击右上角“配置”，在“Workflow配置 > 资源配置”中，选择使用专属资源池。 存储费用：自动学习作业的数据通过对象存储服务（OBS）上传或导出，存储计费按照OBS的计费规则。
期性检查任一检查项出现故障时，隔离故障硬件并重新下发训练作业。针对于分布式场景，容错检查会检查本次训练作业的全部计算节点。 推理部署故障恢复 用户部署的在线推理服务运行过程中，如发生硬件故障导致推理实例故障，ModelArts会自动检测到并迁移受影响实例到其它可用节点，实例启动后
主流开源大模型基于Lite Cluster适配PyTorch NPU推理指导（6.3.910） 推理场景介绍 准备工作 部署推理服务 推理性能测试 推理精度测试 推理模型量化 eagle投机小模型训练 附录：基于vLLM不同模型推理支持最小卡数和最大序列说明 附录：大模型推理常见问题
Notebook开发环境与华为云大数据服务DLI中的Spark引擎相连接，让数据工程师能便捷地使用Notebook进行大数据开发，以及如何在DataArts Studio服务配置Notebook文件定时调度任务。 白名单
在ModelArts中1个节点的专属资源池，能否部署多个服务？ 在ModelArts中公共资源池和专属资源池的区别是什么？ ModelArts中的作业为什么一直处于等待中？ ModelArts控制台为什么能看到创建失败被删除的专属资源池？ ModelArts训练专属资源池如何与SFS弹性文件系统配置对等链接？
5倍的时间代价，生成了3倍的token数量，性能提升了100%。 投机推理参数设置 在启动离线或在线推理服务时参考表1所示配置参数，使用投机推理功能。 表1 投机推理相关参数 服务启动方式 配置项 取值类型 配置说明 offline speculative_model str 小模型权重地址，目前支持相对基
在创建训练作业前，推荐您先使用ModelArts开发环境调试训练代码，避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE（Pycharm或者VSCode）联接云上环境调试请参考使用本地IDE开发模型。 父主题： 业务代码问题
在创建训练作业前，推荐您先使用ModelArts开发环境调试训练代码，避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE（Pycharm或者VSCode）联接云上环境调试请参考使用本地IDE开发模型。 父主题： 业务代码问题
在创建训练作业前，推荐您先使用ModelArts开发环境调试训练代码，避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE（Pycharm或者VSCode）联接云上环境调试请参考使用本地IDE开发模型。 父主题： 云上迁移适配故障
在创建训练作业前，推荐您先使用ModelArts开发环境调试训练代码，避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE（Pycharm或者VSCode）联接云上环境调试请参考使用本地IDE开发模型。 父主题： OBS操作相关故障
configuration中选择Python File，其他语言操作类似。如下图所示： 步骤三：编辑launch.json，增加justMyCode": false配置，如下所示。 { "version": "0.2.0", "configurations":
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
