检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用SmoothQuant量化 SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见表3。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。
训练场景和方案介绍 Stable Diffusion（简称SD）是一种基于扩散过程的图像生成模型，应用于文生图场景，能够帮助用户生成图像。 方案概览 本方案介绍了在ModelArts Lite DevServer上使用昇腾计算资源Ascend Snt9B开展SDXL和SD1.5模
使用SmoothQuant量化 SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。
分离部署推理服务 本章节介绍如何使用vLLM 0.5.0框架部署并启动推理服务。 什么是分离部署 大模型推理是自回归的过程，有以下两阶段： Prefill阶段（全量推理） 将用户请求的prompt传入大模型，进行计算，中间结果写入KVCache并推出第1个token，属于计算密集型。
非分离部署推理服务 本章节介绍如何使用vLLM 0.6.0框架部署并启动推理服务。 什么是非分离部署 全量推理和增量推理在同一节点上进行。 前提条件 已准备好DevServer环境，具体参考资源规格要求。推荐使用“西南-贵阳一”Region上的DevServer和昇腾Snt9b资源。
使用SmoothQuant量化 SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。
附录：大模型推理常见问题 问题1：在推理预测过程中遇到NPU out of memory。 解决方法：调整推理服务启动时的显存利用率，将--gpu-memory-utilization的值调小。 问题2：在推理预测过程中遇到ValueError:User-specified max_model_len
非分离部署推理服务 本章节介绍如何使用vLLM 0.6.3框架部署并启动推理服务。 什么是非分离部署 全量推理和增量推理在同一节点上进行。 前提条件 已准备好DevServer环境，具体参考资源规格要求。推荐使用“西南-贵阳一”Region上的DevServer和昇腾Snt9b资源。
标注物体检测数据 物体检测之前，首先需考虑如何设计标签，标签设计需要对应所检测图片的明显特征，并且选择的标签比较容易识别（画面主体物与背景区分度较高），每个标签就是对所检测图片期望识别的全部结果。物体的标签设计完成之后，基于设计好的标签准备该图片的数据，每种需识别出的标签，建议应
训练声音分类模型 完成音频标注后，可以进行模型的训练。模型训练的目的是得到满足需求的声音分类模型。由于用于训练的音频，至少有2种以上的分类，每种分类的音频数不少于5个。 操作步骤 在开始训练之前，需要完成数据标注，然后再开始模型的自动训练。 在新版自动学习页面，单击项目名称进入运
训练文本分类模型 完成数据标注后，可进行模型的训练。模型训练的目的是得到满足需求的文本分类模型。由于用于训练的文本，至少有2种以上的分类（即2种以上的标签），每种分类的文本数不少于20个。因此在单击“继续运行”按钮之前，请确保已标注的文本符合要求。 操作步骤 在新版自动学习页面，
在JupyterLab使用Git克隆代码仓 在JupyterLab中使用Git插件可以克隆GitHub开源代码仓库，快速查看及编辑内容，并提交修改后的内容。 前提条件 Notebook处于运行中状态。 打开JupyterLab的git插件 在Notebook列表中，选择一个实例，
"dandelion" ] } } } ] 一维表格 [ { "key": "Application Evaluation Results", "title":
配对控制器前，企业管理员需在华为云会议管理平台获取配对码。 企业管理员登录华为云会议管理平台。 从左侧菜单栏进入“会议室管理 > 第三方会议终端”页面。 找到对应的第三方会议终端，单击终端右侧的按钮。 在“控制器配对”页面，可查看该终端的配对码或二维码。 图1 控制器配对 控制器配对和操作
已注册HiLens Kit设备至控制台，详情请见注册HiLens Kit。 已购买HiLens端边云协同平台服务并激活设备，详情请见订购HiLens端边云协同平台服务和激活设备（购买端边云协同平台服务）。 “设备管理>设备列表”中，待安装技能的设备处于“在线”状态。即对HiLens Kit执行上电操作，详情请见HiLens
WeLink是什么？ 华为云WeLink，是融合消息、会议、邮件、知识、能力开放等，打造企业数字化办公的协作平台，实现团队、知识、业务、设备的全面连接。 父主题： 其他
sRead和businessWrite类型的账号。 前提条件 需要具备AppStage服务运维岗位权限或运维管理员权限，权限申请操作请参见申请权限。 复制账号权限 进入AppStage运维中心。 在顶部导航栏选择服务。 单击，选择“微服务开发 > 数据库治理”。 选择左侧导航栏的“实例管理
”和“CPU”，按需选择“规格”，然后单击“立即注册”。 图1 配置镜像信息 Notebook介绍 ModelArts Notebook云上云下，无缝协同，更多关于ModelArts Notebook的详细资料请查看Notebook使用场景介绍。 本案例中的训练作业需要通过SFS
IoT Device SDK使用指南（C#） IoT Device SDK（C#）提供设备接入华为云IoT物联网平台的C#版本的SDK，提供设备和平台之间通讯能力，以及设备服务、OTA等高级服务，并且针对各种场景提供了丰富的demo代码。相关集成指导请参考IoT Device SDK（C#）使用指南。
IoT Device SDK使用指南（C#） IoT Device SDK（C#）提供设备接入华为云IoT物联网平台的C#版本的SDK，提供设备和平台之间通讯能力，以及设备服务、OTA等高级服务，并且针对各种场景提供了丰富的demo代码。相关集成指导请参考IoT Device SDK（C#）使用指南。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
