检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ct Storage Service）作为存储的方案，OBS用于存储模型文件、训练数据、代码、日志等，提供了高可靠性的数据存储解决方案。 约束限制 如果要使用自动重启功能，资源规格必须选择八卡规格，只有llama3-8B/70B支持该功能。 适配的CANN版本是cann_8.0.rc3，驱动版本是23
由于请求不经过推理平台，所以会丢失以下功能： 认证鉴权 流量按配置分发 负载均衡 告警、监控和统计 图1 VPC直连的高速访问通道示意图 约束限制 调用API访问在线服务时，对预测请求体大小和预测时间有限制： 请求体的大小不超过12MB，超过后请求会被拦截。 因APIG（API网
用户提供推理部署方案，帮助用户使能大模型业务。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 约束限制 推理部署使用的服务框架是vLLM（官网地址：https://github.com/vllm-project/vllm/tree/v0
OBS对象存储服务（Object Storage Service）与SFS Turbo文件系统联动，可以实现灵活数据管理、高性能读取等。 约束限制 如果要使用自动重启功能，资源规格必须选择八卡规格。 适配的CANN版本是cann_8.0.rc3，驱动版本是23.0.6。 本案例仅
出统计，不输入默认为false。当使用投机推理时必须开启，否则会导致输出token数量统计不正确。注：由于投机推理的性能测试使用随机输入意义不大，建议开启--dataset-type、--dataset-path，并选择性开启--use-real-dataset-output-tokens使用真实数据集进行测试。
Notebook支持远程登录吗？ 支持。创建Notebook时，可以开启SSH远程开发选项。在本地IDE通过PyCharm专业版或VS Code远程登录Notebook实例。 父主题： 规格限制
式能提供较高的成本效益。 长期项目：对于周期较长的项目，例如科研类的模型训练，包年/包月计费模式可以确保在整个项目周期内资源的稳定使用。 约束限制 包年/包月的资源池，不能进行跨region使用。 适用计费项 计算资源支持包年/包月。 表1 适用计费项 计费项 说明 计算资源 专属资源池
将OBS中的数据文件导入到SFS Turbo，然后在训练作业中挂载SFS Turbo到容器对应ckpt目录，实现分布式读取训练数据文件。 约束限制 如果要使用自动重启功能，资源规格必须选择八卡规格。 适配的CANN版本是cann_8.0.rc3，驱动版本是23.0.6。 本案例仅支持在专属资源池上运行。
例如，通过Terminal在“TensorFlow-1.8”的环境中使用pip安装Shapely。 在代码输入栏输入以下命令，获取当前环境的kernel，并激活需要安装依赖的python环境。 cat /home/ma-user/README source /home/ma-user/anaconda3/bin/activate
第三方监控系统获取ModelArts采集到的指标数据。 本章节主要介绍如何通过Prometheus查看Lite Cluster监控指标。 约束限制 需要在ModelArts Lite Cluster资源池详情页的配置管理页面中先打开“监控”开关。 开通此功能后，兼容Prometheus指标格式的第三方组件可通过API
用户需有一定的Java开发经验，熟悉jar打包流程。 用户需了解WebSocket协议的基本概念及调用方法。 用户需熟悉Docker制作镜像的方法。 约束与限制 WebSocket协议只支持部署在线服务。 只支持自定义镜像导入AI应用部署的在线服务。 准备工作 ModelArts使用WebS
configs结构和transformer configs 服务配置，不设置此参数时，表示不更新。关于configs如何生成，请参见部署在线服务。 更新服务配置时，存在以下约束： 参数status指定的目标状态不允许和当前服务状态相同。 当前服务状态是deploying（部署中）、stopping（停止中）、de
“自动停止” 默认开启，且默认值为“1小时”，表示该Notebook实例将在运行1小时之后自动停止，即1小时后停止规格资源计费。可选择“1小时”、“2小时”、“4小时”、“6小时”或“自定义”几种模式。选择“自定义”模式时，可指定1~72小时范围内任意整数。 定时停止：开启定时停止功能
获取Workflow工作流列表 功能介绍 展示Workflow工作流列表。 接口约束 无 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/workflows
创建AI应用 功能介绍 导入元模型创建AI应用。 执行代码、模型需先上传至OBS（训练作业生成的模型已默认存储到OBS）。 接口约束 使用模板导入模型与不使用模板导入这两类导入方式的Body参数要求不一样。以下Body参数说明中以模板参数表示适合使用模板导入模型时填写的参数，非模
获取Execution列表 功能介绍 查询Workflow下的执行记录列表。 接口约束 无 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{proj
为什么无法启动训练？ 如果启动脚本选择了不属于本工程的代码，则无法启动训练，错误信息如下图所示。建议将启动脚本添加至本工程，或者是打开启动脚本所在工程后，再启动训练作业。 图1 错误信息 父主题： PyCharm Toolkit使用
Gallery仓库的资产下载到云服务端，便于在云服务本地进行训练、部署推理。 Gallery CLI配置工具支持将单个超过5GB的文件从本地上传至AI Gallery仓库中。 约束限制 Gallery CLI配置工具下载文件时依赖集群的公网访问权限，所以在使用CLI时要求集群配置NAT网关，具体操作请参见公网NAT网关。
层外，模型的所有参数都将被调整以适应新的任务。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 约束限制 本文档适配昇腾云ModelArts 6.3.909版本，请参考表1获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts
eInMillis - durationInMinutes * 60 * 1000)计算开始时间。如：-1.-1.60(表示最近60分钟)约束：单次请求中，查询时长与周期需要满足以下条件: durationInMinutes * 60 / period <= 1440。 statistics
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
