检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置kubectl工具 kubectl是Kubernetes集群的命令行工具，配置kubectl后，您可通过kubectl命令操作Kubernetes集群。本文介绍如何配置kubectl工具，操作步骤如下。 登录ModelArts管理控制台，在左侧菜单栏中选择“AI专属资源池 >
得部分任务在不同节点的运行情况不一致，请谨慎操作。存量节点不支持修改容器引擎空间大小。 修改操作系统。在“操作系统”下拉列表中指定操作系统版本。 指定节点计费模式。用户增加节点数量时，可以打开“节点计费模式”开关，为资源池新扩容的节点设置不同于资源池的计费模式、购买时长和开启自动
业的华为方技术支持。 资源规格要求 推理部署推荐使用Lite Server资源和Ascend Snt9B单机单卡。 表1 环境要求 名称 版本 CANN cann_8.0.rc1 PyTorch pytorch_2.1.0 获取镜像 表2 获取镜像 分类 名称 获取路径 基础镜像
当“MA_RUN_METHOD=torchrun”时，表示ModelArts Standard平台使用torchrun命令启动训练作业的“启动文件”。 要求PyTorch版本大于等于1.11.0。 单机时，ModelArts Standard平台使用如下命令启动训练作业的“启动文件”。 torchrun --standalone
W8A8量化 什么是W8A8量化 W8A8量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。 约束限制 支持SmoothQuant（W8A8）量化的模型列表请参见支持的模型列表。 激活量化支持动态per-token和静态per-tensor，支持非对称量化。
创建导入任务 支持从OBS中导入新的数据，导入方式包括目录导入和Manifest文件导入。 dataset.import_data(path=None, anntation_config=None, **kwargs) 不同类型的数据集支持的导入方式如表1所示。 表1 不同数据集支持的导入方式
使用AWQ量化工具转换权重 AWQ(W4A16/W8A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化。 量化方法：W4A16
rd专属资源池故障节点。还支持编辑资源标签操作。 图3 单个节点操作 在节点的搜索栏，支持通过节点的名称、节点状态、高可用冗余、批次、驱动版本、驱动状态、IP地址、资源标签等关键字搜索节点。 支持导出Standard资源池的节点信息到Excel表格中，方便查阅。勾选节点名称，在节点列表上方单击“导出
按标签名称更新单个标签 功能介绍 按标签名称更新单个标签。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI PUT /v2/{project_id}/datasets
e_encoder模型为例，在pipeline代码中查找vae_encoder推理调用的地方，然后修改为对应的MindSpore Lite版本的推理接口模型。 使用MindSpore Lite Runtime接口替换onnx Runtime接口。 # pipeline_onnx_
的是http，就会遇到上述错误。反之，如果您选择的是http，但镜像里面实际提供的是https，也会遇到类似错误。 您可以创建一个新的模型版本，选择正确的协议（http或者https），重新部署在线服务或更新已有在线服务。 请求预测时间过长 报错：{"error_code": "ModelArts
AscendCloud-LLM的llm_tools/llm_evaluation目录中，代码目录结构如下。目前使用的opencompass版本是0.2.6。 benchmark_eval ├──opencompass.sh #运行opencompass脚本 ├──install
准备物体检测数据 使用ModelArts自动学习构建模型时，您需要将数据上传至对象存储服务（OBS）中。OBS桶需要与ModelArts在同一区域。 数据集要求 保证图片质量：不能有损坏的图片；目前支持的格式包括jpg、jpeg、bmp、png。 不要把明显不同的多个任务数据放在同一个数据集内。
Cluster资源池节点故障如何定位 故障说明和处理建议 图1 Lite池故障处理流程 对于ModelArts Lite资源池，每个节点会以DaemonSet方式部署node-agent组件，该组件会检测节点状态，并将检测结果写到K8S NodeCondtition中。同时，节点
从Manifest文件导入规范说明 Manifest文件中定义了标注对象和标注内容的对应关系。此导入方式是指导入数据集时，使用Manifest文件。选择导入Manifest文件时，可以从OBS导入。当从OBS导入Manifest文件时，需确保当前用户具备Manifest文件所在OBS路径的权限。
创建标注任务 基于数据集创建标注任务。 dataset.create_label_task(self, task_name=None, task_type=None, **kwargs) 示例代码 示例一：基于图像类型的数据集创建物体检测标注任务。 from modelarts.session
精度校验 转换模型后执行推理前，可以使用benchmark工具对MindSpore Lite云侧推理模型进行基准测试。它不仅可以对MindSpore Lite云侧推理模型前向推理执行耗时进行定量分析（性能），还可以通过指定模型输出进行可对比的误差分析（精度）。 精度测试 benc
msprobe精度分析工具使用指导 msprobe是MindStudio Training Tools工具链下精度调试部分的工具包，其通过采集和对比标杆（GPU/CPU）环境和昇腾环境上运行训练时的差异点来判断问题所在，主要包括精度预检、精度比对和梯度监控等功能。更多内容请参考msprobe工具介绍。
AscendCloud-LLM的llm_tools/llm_evaluation目录中，代码目录结构如下。目前使用的opencompass版本是0.2.6 benchmark_eval ├──opencompass.sh #运行opencompass脚本 ├──install
使用AWQ量化工具转换权重 AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化，量化方法为per-group。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
