检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见表3。
使用llm-compressor工具量化 当前版本使用llm-compressor工具量化仅支持Deepseek-v2系列模型的W8A8量化。 本章节介绍如何在GPU的机器上使用开源量化工具llm-compressor量化模型权重，然后在NPU的机器上实现推理量化。 具体操作如下：
显存溢出错误 在训练过程中，常见显存溢出报错，示例如下： RuntimeError: NPU out of memory. Tried to allocate 1.04 GiB (NPU 4; 60.97 GiB total capacity; 56.45 GiB already
Yaml配置文件参数配置说明 本小节主要详细描述demo_yaml配置文件、配置参数说明，用户可根据实际自行选择其需要的参数。 表1 模型训练脚本参数 参数 示例值 参数说明 model_name_or_path /home/ma-user/ws/tokenizers/Qwen2-72B
ECS获取和上传基础镜像 Step1 创建镜像组织 在SWR服务页面创建镜像组织。 图1 创建镜像组织 Step2 登录ECS服务器 根据创建ECS服务器创建完成ECS服务器后，单击“远程登录”，可使用华为CloudShell远程登录如图所示。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。
显存溢出错误 在训练过程中，常见显存溢出报错，示例如下： RuntimeError: NPU out of memory. Tried to allocate 1.04 GiB (NPU 4; 60.97 GiB total capacity; 56.45 GiB already
训练启动脚本说明和参数配置 本代码包中集成了不同模型（包括llama2、llama3、Qwen、Qwen1.5 ......）的训练脚本，并可通过不同模型中的训练脚本一键式运行。训练脚本可判断是否完成预处理后的数据和权重转换的模型。如果未完成，则执行脚本，自动完成数据预处理和权重转换的过程。
部署ABI 如果金蝶9.0上正常部署ABI5.3.1，需要做以下处理。增加一个web.xml文件在war包的WEB-INF目录下。 如果金蝶9.0上部署启动报错，需要删除WEB-INF\lib下的eweb-1.4.1-SNAPSHOT.jar中的META-INF\services下的javax
在Weblogic中创建Domain 本章节是以Weblogic 12.2.1版本为例，介绍整个配置过程。 执行安装目录下/home/weblogic/Oracle/Middleware/Oracle_Home/wlserver/common/bin/config.sh 图1 创建1
工业数据资产库设计 数据治理知识库设计 IDS工业数据确权与交换试点 模具行业数据模型与标准 3C电子行业(PCBA)数据模型与标准 供应链数据治理及入湖开发 IDS可信数据空间 父主题： 工业数据处理基础工具链专题设计
服务或微服务改名了，是否需要删除原来的服务/微服务，注册新的服务/微服务？ STS现在已经支持了自动感知业务服务、微服务改名的信息，会自动将服务名、微服务名变更为最新的服务名、微服务名，并保持密钥、敏感配置、ACL等信息不变。但并不是业务改名后立即就会感知到，会有一段同步时间，大约10-15分钟左右。
从OBS导入数据到数据集场景介绍 导入方式 OBS导入数据方式分为“OBS目录”和“Manifest文件”两种。 OBS目录：指需要导入的数据集已提前存储至OBS目录中。此时需选择用户具备权限的OBS路径，且OBS路径内的目录结构需满足规范，详细规范请参见从OBS目录导入数据规范
上传本地文件至JupyterLab Notebook的JupyterLab中提供了多种方式上传文件。 上传文件要求 对于大小不超过100MB的文件直接上传，并展示文件大小、上传进度及速度等详细信息。 对于大小超过100MB不超过50GB的文件可以使用OBS中转，系统先将文件上传O
上传远端文件至JupyterLab 在Notebook的JupyterLab中，支持通过远端文件地址下载文件。 要求：远端文件的URL粘贴在浏览器的输入框中时，可以直接下载该文件。 通过JupyterLab打开一个运行中的Notebook。 单击JupyterLab窗口上方导航栏的ModelArts
团队与团队角色下批量更新用户 功能介绍 团队与团队角色下批量更新用户，最终数据以传入数据为准。 URI PUT /unidata/public/api/v1/team/team-role/user/batch-update/{team_and_team_role_id} 表1 路径参数
管理租户及租户成员 超级管理员才能新增租户、管理租户成员。 开通MBM Space后，系统预置了默认租户，超级管理员新增的用户即为默认租户的成员。您可以根据实际需求，新增业务租户并管理业务租户成员。 前提条件 已使用超级管理员角色登录MBM Space。 已新增用户。 步骤1：新增租户
管理角色及用户权限 租户管理员才能新增角色、授予角色菜单栏目功能权限以及管理角色权限对应的用户。 前提条件 已使用租户管理员角色登录MBM Space。 已新增用户。 步骤1：新增角色 在顶部导航栏中，选择“系统管理 > 用户权限 > 角色管理”。 进入“角色管理”页面。 图1 角色管理
设置ID生成器 以图形化界面的方式灵活定义系统中的条码规则。 前提条件 已登录MBM Space，且拥有“ID生成器定义”菜单栏目的操作权限。 步骤1：添加业务对象 在顶部导航栏中，选择“制造数据模型管理 > 建模工具 > ID生成器定义”。 进入“ID生成器定义”页面。 选择“业务对象码”页签。
登录与退出数字化制造基础服务 本章节为您介绍如何通过Web网页方式登录数字化制造基础服务（MBM Space），以及退出MBM Space。 前提条件 已向管理员获取MBM Space的访问网址。 当MBM Space部署在边缘云上时，需向管理员获取账号名和密码。 登录MBM Space
在SLB中配置url重写/重定向 可根据请求是否为灰度做不同的重写或重定向策略，对于使用灰度的场景比较有意义，如典型的：端侧发给SLB的请求 http://xyz.com/xyzgetnews?param1=xyz & param2=abc后端现网版本接受/xyzgetnews?
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
