检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用JupyterLab在线开发和调试代码 JupyterLab是一个交互式的开发环境，可以使用它编写Notebook、操作终端、编辑MarkDown文本、打开交互模式、查看csv文件及图片等功能。可以说，JupyterLab是开发者们下一阶段更主流的开发环境。 ModelArt
支持分析算子的profiling 环境准备 本工具支持x86和ARM的系统环境，使用前需要安装以下软件。 表2 安装软件及步骤 软件 安装步骤 mindspore-lite 安装版本：2.2.10 下载地址：https://www.mindspore.cn/lite/docs/zh-CN/r2
--calib-data：数据集路径，推荐使用：https://huggingface.co/datasets/mit-han-lab/pile-val-backup，注意需指定到val.jsonl的上一级目录。 详细说明可以参考vLLM官网：https://docs.vllm.ai/e
推理关键特性使用 量化 剪枝 分离部署 Prefix Caching multi-step 投机推理 图模式 多模态 Chunked Prefill multi-lora guided-decoding 父主题： 主流开源大模型基于Lite Server适配Ascend-vLLM
--calib-data：数据集路径，推荐使用：https://huggingface.co/datasets/mit-han-lab/pile-val-backup，注意需指定到val.jsonl的上一级目录。 详细说明可以参考vLLM官网：https://docs.vllm.ai/e
使用Gallery CLI配置工具上传文件 在服务器（ModelArts Lite云服务器或者是本地Windows/Linux等服务器）上登录Gallery CLI配置工具后，通过命令“gallery-cli upload”可以往AI Gallery仓库上传资产。 命令说明 登录Gallery
Prometheus 在HTTP的URL输入框中输入Prometheus的IP地址和端口号，单击Save&Test： 图2 IP地址和端口号 至此，指标监控方案安装完成。指标监控效果展示如下： 图3 指标监控效果 这里使用的是Grafana最基本的功能，如有更高级的诉求，可参考Grafana的官方文档。
--calib-data：数据集路径，推荐使用：https://huggingface.co/datasets/mit-han-lab/pile-val-backup/resolve/main/val.jsonl.zst，注意需指定到val.jsonl的上一级目录。 详细说明可以参考vLLM官网：https://docs
NPU显存使用率 NPU卡的显存使用率 % instance_id，npu npu_util_rate_ai_core NPU卡AI核心使用率 NPU卡的AI核心使用率 % instance_id，npu npu_util_rate_ai_cpu NPU卡AICPU使用率 NPU卡的AI-CPU使用率
#安装量化工具依赖 export ASCEND_RT_VISIBLE_DEVICES=0 #设置使用NPU单卡执行模型量化 python examples/quantize.py 详细说明可以参考vLLM官网：https://docs.vllm.ai/en/latest/quantization/auto_awq
设置运行参数（2） 当需要调试代码时，可以直接打断点，然后使用debug方式运行程序。 图13 使用debug方式运行程序 此时可以进入debug模式，代码运行暂停在该行，且可以查看变量的值。 图14 Debug模式下查看变量值 父主题： 通过PyCharm远程使用Notebook实例
--calib-data：数据集路径，推荐使用：https://huggingface.co/datasets/mit-han-lab/pile-val-backup，注意需指定到val.jsonl的上一级目录。 详细说明可以参考vLLM官网：https://docs.vllm.ai/e
--calib-data：数据集路径，推荐使用：https://huggingface.co/datasets/mit-han-lab/pile-val-backup，注意需指定到val.jsonl的上一级目录。 详细说明可以参考vLLM官网：https://docs.vllm.ai/e
在ModelArts的Notebook中添加标签。 可以在创建Notebook页面添加标签，也可以在已经创建完成的Notebook详情页面的“标签”页签中添加标签。 在ModelArts的训练作业中添加标签。 可以在创建训练作业页面添加标签，也可以在已经创建完成的训练作业详情页面的“标签”页签中添加标签。
准备物体检测数据 使用ModelArts自动学习构建模型时，您需要将数据上传至对象存储服务（OBS）中。OBS桶需要与ModelArts在同一区域。 数据集要求 保证图片质量：不能有损坏的图片；目前支持的格式包括jpg、jpeg、bmp、png。 不要把明显不同的多个任务数据放在同一个数据集内。
是一个流行的代码编辑器，它支持多种编程语言和开发环境。支持通过VS Code连接和使用Jupyter Notebook。 当用户创建完成支持SSH的Notebook实例后，使用VS Code的开发者可以通过以下方式连接到开发环境中： VS Code一键连接Notebook（推荐）
式的第三方组件可通过API http://<节点IP>:<端口号>/metrics获取ModelArts采集到的指标数据。 开通前需要确认使用的端口号，端口号可选取10120~10139范围内的任一端口号，请确认选取的端口号在各个节点上都没有被其他应用占用。 Kubernetes
这类特性在大型企业用户的使用场景下很常见。如果需要对委托授权的权限范围进行精确控制，可以参考本章节进行MaaS服务的定制化委托授权。 本章节主要介绍如何给IAM用户下的子用户配置更细粒度的权限。 前提条件 给用户组授权之前，请先了解用户组可以添加的使用ModelArts及其依赖
由于ModelArts服务在使用过程中会访问其他依赖服务，因此需要给ModelArts进行委托授权。 购买Server资源时，需要选择虚拟私有云用于网络通信，您可以使用已有的虚拟私有云或新创建的虚拟私有云。 若使用密钥对作为登录裸金属服务器的鉴权方式，您可以使用已有的密钥对或新创建的密钥对。
使用ModelArts Standard自动学习实现口罩检测 该案例是使用华为云一站式AI开发平台ModelArts的新版“自动学习”功能，基于华为云AI开发者社区AI Gallery中的数据集资产，让零AI基础的开发者完成“物体检测”的AI模型的训练和部署。依据开发者提供的标注
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
