检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
QWEN+AWQ 方式二：使用AutoAWQ量化工具进行量化。 AutoAWQ量化工具的适配代码存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools/AutoAWQ目录下。 1、在容器中使用ma-user用户, vLLM使用transformers版
使用AWQ量化 AWQ(W4A16/W8A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表3。多模态只支持hf上下载的awq权重，可跳过步骤一。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：W4A16
为了保证模型的预测准确度，训练样本跟真实使用场景尽量相似。 为保证模型的泛化能力，数据集尽量覆盖可能出现的各种场景。 数据上传至OBS 在本文档中，采用通过OBS管理控制台将数据上传至OBS桶。 上传OBS的文件规范： 文件名规范：不能有+、空格、制表符。 如不需要提前上传训练
hccn_tool不可用 请检查NPU驱动是否正常 无法配置RoCE网卡的IP、网关 重要 npu-smi不可用 请检查NPU驱动是否正常 无法正常使用NPU卡 重要 ascend-dmi不可用 请检查工具包ToolBox是否正常安装 无法使用ascend-dmi进行性能分析 安装CES
充分满足算法工程师在日常训练和推理工作中的需求。 本文旨在帮助您了解Lite Server的基本使用流程，帮助您快速上手，使用流程包含以下步骤。 图1 使用流程 资源开通 由于Server为一台裸金属服务器，因此需要先购买资源后才能使用。 首先请联系客户经理确认Server资源
在ModelArts的Notebook中内置引擎不满足使用需要时，如何自定义引擎IPython Kernel？ 使用场景 当前Notebook默认内置的引擎环境不能满足用户诉求，用户可以新建一个conda env按需搭建自己的环境。本小节以搭建一个“python3.6.5和tensorflow1
图3仅作为示例，请以实际控制台为准。 准备训练数据和代码文件，上传到JupyterLab中。具体参见上传本地文件至JupyterLab。 图4 文件上传按钮 在左侧导航双击打开上传的代码文件，在JupyterLab中编写代码文件，并运行调试。有关JupyterLab的使用具体参见JupyterLab常用功能介绍。
ModelArts支持使用ECS创建专属资源池吗？ 不支持。创建资源池时，只能选择界面提供的“未售罄”节点规格进行创建。专属资源池的节点规格后台是对应的ECS资源，但是无法使用账号下购买的ECS，作为ModelArts专属资源池。 父主题： Standard专属资源池
像制作。 在您使用自定义镜像功能时，ModelArts可能需要访问您的容器镜像服务SWR、对象存储服务OBS等依赖服务，如果没有授权，这些功能将不能正常使用。建议您使用委托授权功能，将依赖服务操作权限委托给ModelArts服务，让ModelArts以您的身份使用依赖服务，代替您
在Lite Cluster资源池上使用Snt9B完成推理任务 场景描述 本案例介绍如何在Snt9B环境中利用Deployment机制部署在线推理服务。首先创建一个Pod以承载服务，随后登录至该Pod容器内部署在线服务，并最终通过新建一个终端作为客户端来访问并测试该在线服务的功能。
在ModelArts的Notebook中如何使用pandas库处理OBS桶中的数据？ 参考下载OBS文件到Notebook中的指导，将OBS中的数据下载至Notebook本地处理。 参考pandas用户指南处理pandas数据。 父主题： Standard Notebook
登录VS Code插件 登录后，VS Code自动同步ModelArts中的训练作业列表，并进入开发场景选择页面，如图3所示。选择合适的开发场景，并选择工作目录后，进入训练作业代码存储路径选择界面，单击“使用OBS”或“使用SFS”，填写OBS或SFS路径，单击“确定”。选择此路径后，会
本地完成安装。 使用PyCharm ToolKit远程连接Notebook开发环境，仅限PyCharm专业版。 使用PyCharm ToolKit提交训练作业，社区版和专业版都支持。 已注册华为账号并开通华为云，且在使用ModelArts前检查账号状态，账号不能处于欠费或冻结状态。
使用自定义镜像创建的训练作业一直处于运行中 问题现象 使用自定义镜像创建训练作业，训练作业的“状态”一直处于“运行中”。 原因分析及处理办法 日志打印如下内容，表示自定义镜像的CPU架构与资源池节点的CPU架构不一致。 standard_init_linux.go:215: exec
使用MoXing复制数据报错 问题现象 调用moxing.file.copy_parallel()将文件从开发环境的OBS桶中复制到其他OBS桶里，但是桶内没有出现目标文件。 使用MoXing复制数据不成功，出现报错。如： ModelArts开发环境使用MoXing复制OBS数据报错：keyError:
使用基础镜像 通过ECS获取和上传基础镜像将镜像上传至SWR服务后，可创建训练作业，在“选择镜像”中选择SWR中基础镜像。 由于基础镜像内需要安装固定版本依赖包，如果直接使用基础镜像进行训练，每次创建训练作业时，训练作业的图1中都需要执行install.sh文件，来安装依赖以及下载完整代码。命令如下：
使用基础镜像 通过ECS获取和上传基础镜像将镜像上传至SWR服务后，可创建训练作业，在“选择镜像”中选择SWR中基础镜像。 由于基础镜像内需要安装固定版本依赖包，如果直接使用基础镜像进行训练，每次创建训练作业时，训练作业的图1中都需要执行install.sh文件，来安装依赖以及下载完整代码。命令如下：
在ModelArts中训练好后的模型如何获取？ 使用自动学习产生的模型只能在ModelArts上部署上线，无法下载至本地使用。 使用自定义算法或者订阅算法训练生成的模型，会存储至用户指定的OBS路径中，供用户下载。 父主题： Standard模型训练
在ModelArts的Notebook中如何查看GPU使用情况？ 创建Notebook时，当您选择的类型为GPU时，查看GPU使用情况具体操作如下： 登录ModelArts管理控制台，选择“开发空间>Notebook”。 在Notebook列表中，单击目标Notebook“操作”列
使用基础镜像 通过ECS获取和上传基础镜像将镜像上传至SWR服务后，可创建训练作业，在“选择镜像”中选择SWR中基础镜像。 由于基础镜像内需要安装固定版本依赖包，如果直接使用基础镜像进行训练，每次创建训练作业时，训练作业的图1中都需要执行 install.sh文件，来安装依赖以及下载完整代码。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
