检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
3版本与实验室版本权重无法对齐，会导致小模型精度问题。 export EAGLE_USE_SAFE_AI_LAB_STYLE=1 # eagle投机对基于 https://github.com/SafeAILab/EAGLE/ 版本实现 export ENABLE_SPEC_METRIC=0
PyTorch pytorch_2.1.0 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6.3.912软件包中的AscendCloud-AIGC-6.3.912-xxx.zip 获取路径：Support-E，在此路径中查找下载ModelArts
pecifications 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 is_personal_cluster 否 Boolean
是否必选 参数类型 描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 check_running_task 否 Boolean 是
scription_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workflow_id 是 String 工作流的ID。 subscription_id 是 String 工作流的消息订阅ID。
和推理训练，具体案例可参考Lite Cluster资源使用。 资源管理：Lite Cluster提供扩缩容、驱动升级等管理手段，您可在ModelArts控制台上对资源进行管理。请参考Lite Cluster资源管理。 表1 相关名词解释 名词 含义 容器 容器技术起源于Linux
是否必选 参数类型 描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workforce_task_id 是 String 团队标注任务ID。 请求参数 表2 请求Body参数 参数 是否必选
workforce_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workforce_id 是 String 标注团队ID。 请求参数 无 响应参数 状态码： 200 表2 响应Body参数
PyTorch pytorch_2.1.0 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-3rdAIGC-6.3.905-xxx.zip 文件名中的xxx表示具体的时间戳，以包名发布的实际时间为准。 获取路径：Support-E 如果没有软
}/tags/delete 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID，获取方法请参见获取项目ID和名称。 resource_id 是 String 资源ID：如Notebook实例ID。 请求参数 表2 请求Body参数
}/tags/create 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID，获取方法请参见获取项目ID和名称。 resource_id 是 String 资源ID，如Notebook实例ID。 请求参数 表2 请求Body参数
性能预期：QPS 20/s - 业务访问方式 推理业务访问：“客户端 -> 云服务” 或 “云客户端 -> 云服务”。 推理业务时延要求，客户端到云服务端到端可接受时延。 例如：当前是“客户端 -> 云服务”模式，客户端请求应答可接受的最长时延为2秒。 - 模型参数规模，是否涉及分布式推理
当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 购买专属资源池注意事项 使用场景需要选择ModelArts Lite。 CCE集群已完成创建。
当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 购买专属资源池注意事项 使用场景需要选择ModelArts Lite。 CCE集群已完成创建。
当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 购买专属资源池注意事项 使用场景需要选择ModelArts Lite。 CCE集群已完成创建。
Standard提供的预置框架不满足您的诉求时，ModelArts Standard支持用户构建自定义镜像用于模型训练。 自定义镜像的制作要求用户对容器相关知识有比较深刻的了解，除非订阅算法和预置框架无法满足需求，否则不推荐使用。自定义镜像需上传至容器镜像服务（SWR），才能用于ModelArts
co/datasets/ceval/ceval-exam 下载其中的ceval-exam.zip压缩包，解压到ceval-exam文件夹。 Step2 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-3rdLLM-x.x.x的/llm_evaluation目录中，代码目录结构如下：
是否必选 参数类型 描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workforce_task_id 是 String 团队标注任务ID。 表2 Query参数 参数 是否必选 参数类型
表1 环境要求 名称 版本 CANN cann_8.0.rc3 驱动 24.1.rc1 PyTorch 2.1.0 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6.3.912-xxx.zip软件包中的AscendCloud-AIGC-6
是否必选 参数类型 描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workforce_task_id 是 String 团队标注任务ID。 请求参数 无 响应参数 状态码： 200
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
