检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用AWQ量化 AWQ(W4A16/W8A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表3。多模态只支持hf上下载的awq权重，可跳过步骤一。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：W4A16
创建方式 适用场景 使用预置框架创建训练作业 如果您已在本地使用一些常用框架完成算法开发，您可以选择常用框架，创建训练作业来构建模型 使用自定义镜像创建训练作业 如果您开发算法时使用的框架并不是常用框架，您可以将算法构建为一个自定义镜像，通过自定义镜像创建训练作业。 使用已有算法创建训练作业
端口和ws跟wss的配置是否正确。 连接成功后结果如下： 图3 连接成功 优先验证自定义镜像提供的websocket服务的情况，不同的工具实现的websocket服务会有不同，可能出现连接建立后维持不住，可能出现请求一次后连接就中断需要重新连接的情况，ModelArts平台只保证
云服务域名使用安全及租户内容安全策略 ModelArts服务使用的租户可见域名、租户不可见域名均满足如下安全相关要求，避免了域名使用过程中的合规和钓鱼风险。其中： 租户可见域名：指租户可访问的域名，需要格外重视安全性和合规性。 租户不可见域名：指华为云服务在内网相互调用使用的域名
径。 检查使用的资源是否为CPU，CPU的“/cache”与代码目录共用10G，可能是空间不足导致，可在代码中使用如下命令查看磁盘大小。 os.system('df -hT') 磁盘空间满足，请执行5。 磁盘空间不足，请您使用GPU资源。 如果是在Notebook使用MoXing
是，故障处理完成。 否，则联系技术支持排查节点状态。 建议与总结 环境变量NCCL_SOCKET_IFNAME用于指定通信的网卡名称。“NCCL_SOCKET_IFNAME=eth0”表示仅使用eth0网卡通信。该环境变量由系统自动注入，由于通信网卡名称不固定，因此训练代码不应默认设置该环境变量。
推理关键特性使用 量化 剪枝 分离部署 Prefix Caching multi-step 投机推理 图模式 多模态 Chunked Prefill multi-lora guided-decoding 父主题： 主流开源大模型基于Lite Server适配Ascend-vLLM
享到AI Gallery中给他人使用学习。 使用限制 CodeLab默认打开，使用的是CPU计算资源。如需切换为GPU，请在右侧窗口，更换GPU规格。 在ModelArts控制台的“总览”界面打开CodeLab，使用的是CPU或GPU资源，无法使用Ascend资源。 如果是AI
台。具体请参见推理部署使用场景。 Standard使用流程说明 ModelArts Standard平台提供了从数据准备到模型部署的AI全流程开发，兼容开发者的使用习惯，支持多种引擎和用户场景，使用自由度较高。针对AI开发的每个环节，Standard功能使用相对自由，您可以根据实
通过PyCharm远程使用Notebook实例 使用PyCharm Toolkit插件连接Notebook 使用PyCharm手动连接Notebook 使用PyCharm上传数据至Notebook 父主题： 使用Notebook进行AI开发调试
Quant-W8A8”时才需要配置。建议使用默认值。 取值范围：0~1 默认值：0.5 压缩后模型权重保存路径 选择压缩后模型权重文件存放的OBS路径。 资源设置 资源池类型 资源池分为公共资源池与专属资源池。 公共资源池供所有租户共享使用。 专属资源池需单独创建，不与其他租户共享。
“NCCL_DEBUG=INFO” NCCL_IB_HCA 指定NCCL使用的IB网卡。 “NCCL_IB_HCA=^mlx5_bond_0” NCCL_SOCKET_IFNAME 指定NCCL使用的SOCKET网卡。 “NCCL_SOCKET_IFNAME=bond0,eth0” 表4 OBS环境变量
数据准备使用流程 ModelArts是面向AI开发者的一站式开发平台，能够支撑开发者从数据到模型的全流程开发过程，包含数据处理、算法开发、模型训练、模型部署等操作。并且提供AI Gallery功能，能够在市场内与其他开发者分享数据、算法、模型等。为了能帮用户快速准备大量高质量的数
准备好密钥对文件。 密钥对在用户第一次创建时，自动下载，之后使用相同的密钥时不会再有下载界面（用户一定要保存好），或者每次都使用新的密钥对。 Step1 安装SSH工具 下载并安装SSH远程连接工具，以PuTTY为例，下载链接。 Step2 使用puttygen将密钥对.pem文件转成.ppk文件
通过VS Code远程使用Notebook实例 VS Code连接Notebook方式介绍 安装VS Code软件 VS Code一键连接Notebook VS Code ToolKit连接Notebook VS Code手动连接Notebook 在VS Code中上传下载文件 父主题：
Host”，选择出问题的实例进行自动清除，然后重新进行连接。 图1 清除异常的实例 方法二（远端）：在VS Code的Terminal中删除“/home/ma-user/.vscode-server/bin/”下正在使用的文件，然后重新进行连接。 ssh -tt -o StrictHostKeyChecking=no
visualstudio.com/updates/v1_85 图1 VS Code的下载位置 VS Code版本要求： 建议用户使用VS Code 1.85.2版本进行远程连接。 VS Code安装指导如下： 图2 Windows系统下VS Code安装指导 Linux系统下，执行命令sudo
Notebook中快速使用MoXing 本文档介绍如何在ModelArts中调用MoXing Framework接口。 进入ModelArts，创建Notebook实例 登录ModelArts管理控制台，在左侧菜单栏中选择“开发空间>Notebook”，进入“Notebook”管理页面。
VS Code连接远端Notebook时报错“XHR failed” 问题现象 VS Code连接远端Notebook时报错“XHR failed”。 原因分析 可能是所在环境的网络有问题，无法自动下载VS Code Server，请手动安装。 解决方法 打开VS Code，选择
使用Notebook进行代码调试 背景信息 Notebook使用涉及到计费，具体收费项如下： 处于“运行中”状态的Notebook，会消耗资源，产生费用。根据您选择的资源不同，收费标准不同，价格详情请参见产品价格详情。当您不需要使用Notebook时，建议停止Notebook，避免产生不必要的费用。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
