检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
device_map="auto", quantization_config=gptq_config) 您还可以使用save_pretrain()方法在本地保存您的量化模型。如果模型是用device_map参数量化的，请确保在保存之前将整个模型移动到GPU或CPU。例如，要将模型保存在CPU上。
device_map="auto", quantization_config=gptq_config) 您还可以使用save_pretrain()方法在本地保存您的量化模型。如果模型是用device_map参数量化的，请确保在保存之前将整个模型移动到GPU或CPU。例如，要将模型保存在CPU上。
使用大模型在ModelArts Standard创建AI应用部署在线服务 背景说明 目前大模型的参数量已经达到千亿甚至万亿，随之大模型的体积也越来越大。千亿参数大模型的体积超过200G，在版本管理、生产部署上对平台系统产生了新的要求。例如：导入AI应用时，需要支持动态调整租户存储
更新算法 功能介绍 更新算法。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI PUT /v2/{project_id}/algorithms/{algorithm_id}
创建完Notebook后，单击操作列的“打开”，报错如下： 解决方案：复制页面的域名，添加到windows代理“请勿对以下列条目开头的地址使用代理服务器”中，然后保存就可以正常打开。 父主题： 实例故障
查询开发环境实例详情 功能介绍 该接口用于查询开发环境实例详情。 URI GET /v1/{project_id}/demanager/instances/{instance_id} 参数说明如表1所示 表1 参数说明 参数 是否必选 参数类型 说明 project_id 是 String
本功能不可用。相关高危命令如：apt-get upgrade。 高 如果需要升级/修改，请联系华为云技术支持。 切换或者重置操作系统。 服务器在进行过“切换或者重置操作系统”操作后，EVS系统盘ID发生变化，和下单时订单中的EVS ID已经不一致， 因此EVS系统盘将不支持扩容，
场景介绍 方案概览 本文档介绍了在ModelArts的Standard上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程，利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件，为用户提供推理部署方案，帮助用户使能大模型业务。
开发算法、管理和部署模型，此时可以创建多个工作空间，把不同应用开发过程的输出内容划分到不同工作空间中，便于管理和使用。 远程接入管理 使用本地IDE远程SSH连接ModelArts的Notebook开发环境时，需要用到密钥对进行鉴权认证。同时支持白名单访问控制，即设置允许远程接入访问这个Notebook的IP地址。
add命令。在左下方输入本次提交的Message，单击“Commit”，相当于执行了git commit命令。 图8 提交修改内容 此时，可以在“History”页签下看到本地提交已成功。 图9 查看是否提交成功 单击“push”按钮，相当于执行git push命令，即可提交代码到GitHub仓库中。提交成功后会提示“Successfully
# 推理工具 代码上传至OBS 将AscendSpeed代码包AscendCloud-LLM-xxx.zip在本地解压缩后，将llm_train文件上传至OBS中。 结合准备数据、准备权重、准备代码，将数据集、原始权重、代码文件都上传至OBS后，OBS桶的目录结构如下。
更新开发环境实例信息 功能介绍 该接口用于更新开发环境实例的描述信息或自动停止信息。 URI PUT /v1/{project_id}/demanager/instances/{instance_id} 参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 说明 project_id
查询算法详情 功能介绍 根据算法id查询指定算法。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/algorithms/{algorithm_id}
创建开发环境实例 功能介绍 创建开发环境实例，用于代码开发。 该接口为异步操作，创建开发环境实例的状态请通过查询开发环境实例详情接口获取。 URI POST /v1/{project_id}/demanager/instances 参数说明如表1所示。 表1 参数说明 参数 是否必选
创建完Notebook后，单击操作列的“打开”，报错如下： 解决方案：复制页面的域名，添加到windows代理“请勿对以下列条目开头的地址使用代理服务器”中，然后保存就可以正常打开。 父主题： Notebook实例常见错误
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 Alpaca数据集 本教程使用Alpaca数据集，数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令
管理训练容器环境变量 什么是环境变量 本章节展示了训练容器环境中预置的环境变量，方便用户查看，主要包括以下类型。 路径相关环境变量 分布式训练任务环境变量 NCCL（Nvidia Collective multi-GPU Communication Library）环境变量 OBS环境变量
场景介绍 方案概览 本文档介绍了在ModelArts的Standard上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程，利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件，为用户提供推理部署方案，帮助用户使能大模型业务。
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 Alpaca数据集 本教程使用Alpaca数据集，数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令
ModelArts SDK支持在本地安装配置使用。使用时，需进行Session鉴权。 本地安装SDK。如果本地未安装SDK，可参考（可选）本地服务器安装ModelArts SDK安装；如果本地已安装，则无需再次安装。 进行Session鉴权。可参见（可选）Session鉴权完成鉴权。鉴权完成后，即可开始使用。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
