检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在线服务的简要说明。 填写资源池和模型配置等关键信息，详情请参见表2。 表2 参数说明 参数名称 子参数 说明 “资源池” “公共资源池” 公共资源池有CPU或GPU两种规格，不同规格的资源池，其收费标准不同，详情请参见价格详情说明。当前仅支持按需付费模式。 “专属资源池” 在专属资源池规格中选
请参考DevServer资源开通，购买DevServer资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格，需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169
部署的在线服务状态为告警 问题现象 在部署在线服务时，状态显示为“告警”。 解决方法 使用状态为告警的服务进行预测，可能存在预测失败的风险，请从以下4个角度进行排查，并重新部署。 后台预测请求过多。 如果您使用API接口进行预测，请检查是否预测请求过多。大量的预测请求会导致部署的在线服务进入告警状态。
等待输入”时，双击“服务部署”进入配置详情页，完成资源的参数配置操作。 在服务部署页面，选择模型部署使用的资源规格。 模型来源：默认为生成的模型。 选择模型及版本：自动匹配当前使用的模型版本，支持选择版本。 资源池：默认公共资源池。 分流：默认为100，输入值必须是0-100之间。
等待输入”时，双击“服务部署”进入配置详情页，完成资源的参数配置操作。 在服务部署页面，选择模型部署使用的资源规格。 模型来源：默认为生成的模型。 选择模型及版本：自动匹配当前使用的模型版本，支持选择版本。 资源池：默认公共资源池。 分流：默认为100，输入值必须是0-100之间。
SSH密钥对名称列表，允许设置多个密钥对实现同时对SSH实例的访问。 service String 访问Notebook的途径，枚举值如下： NOTEBOOK：可以通过https协议访问Notebook。 SSH：可以通过SSH协议远程连接Notebook。 uri String 实例私有IP地址。 表5 Image
附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory。 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len
附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory。 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len
训练作业，方便用户选择最优的模型 提供训练作业的事件信息（训练作业生命周期中的关键事件点）、训练日志（训练作业运行过程和异常信息）、资源监控（资源使用率数据）、Cloud Shell（登录训练容器的工具）等能力，方便用户更清楚得了解训练作业运行过程，并在遇到任务异常时更加准确的排查定位问题
该报错。 可以通过以下方式解决问题： 服务预测请求内容过大时，会因数据处理慢导致请求超时，优化预测代码，缩短预测时间。 推理速度与模型复杂度强相关，优化模型，缩短预测时间。 扩容实例数或者选择性能更好的“计算节点规格”，例如使用GPU资源代替CPU资源，提升服务处理能力。 服务出错
附录：Standard大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory。 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified
附录：Standard大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory。 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified
保障客户系统应用大模型的成本效率，按需收费，按需扩缩的灵活成本效益资源配置方案，有效避免了资源闲置与浪费，降低了进入AI领域的门槛。 架构强调高可用性，多数据中心部署确保数据与任务备份，即使遭遇故障，也能无缝切换至备用系统，维持模型训练不中断，保护长期项目免受时间与资源损耗，确保进展与收益。 大模型应用开发，帮助开发者快速构建智能Agents
等待输入”时，双击“服务部署”进入配置详情页，完成资源的参数配置操作。 在服务部署页面，选择模型部署使用的资源规格。 模型来源：默认为生成的模型。 选择模型及版本：自动匹配当前使用的模型版本，支持选择版本。 资源池：默认公共资源池。 分流：默认为100，输入值必须是0-100之间。
待输入”，双击“服务部署”节点，进入配置详情页，完成资源的参数配置操作。 在服务部署页面，选择模型部署使用的资源规格。 模型来源：默认为生成的模型。 选择模型版本：自动匹配当前使用的模型版本，支持选择版本。 资源池：默认公共资源池。 分流：默认为100，输入值必须是0-100之间。
请参考DevServer资源开通，购买DevServer资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格，需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169
压大量文件时，加入sleep。比如每解压1w个文件，就停止1s。 存储限制 根据规格情况合理使用数据盘，数据盘大小请参考训练环境中不同规格资源大小。 CPU过载 减少线程数。 排查办法 根据错误信息判断，报错原因来源于用户代码。 您可以通过以下两种方式排查： 线上环境调试代码（仅适用于非分布式代码）
“/cache”目录下存储的是临时文件，在Notebook实例停止或重启后，不会被保存。存储在“/home/ma-user/work”目录下的数据，在Notebook实例停止或重启后，会被保留。 为避免重启，请勿在开发环境中进行重型作业训练，如大量占用资源的作业。 父主题： 数据存储
对在线服务进行预测。具体操作请参见使用预测功能测试在线服务。 实例 查看异步在线服务的实例信息。这里的实例个数和部署服务时设置的“实例数”相对应，如果修改服务或服务异常，实例数会有变化。如果存在某个实例异常希望重建实例，您可单击“删除”按钮，该实例被删除后会自动新建一个相同计算规格的实例。 配置更新记录 展示“当前配置”详情和“历史更新记录”。
CLI，即ModelArts命令行工具，是一个跨平台命令行工具，用于连接ModelArts服务并在ModelArts资源上执行管理命令。用户可以使用交互式命令行提示符或脚本通过终端执行命令。为了方便理解，下面将ModelArts CLI统称为ma-cli。ma-cli支持用户在ModelArts Noteboo
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
