检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Code的开发者可以通过以下方式连接到开发环境中： VS Code一键连接Notebook（推荐） 该方式是指在开发环境Console控制台上提供VS Code按钮，通过该入口自动打开VS Code并连接实例。 VS Code ToolKit连接Notebook 该方式是指用户在VS Code上使用ModelArts
如果未使用量化功能，则无需配置。根据使用的量化方式配置，可选择awq、smoothquant或者GPTQ方式。 --speculative-model ${container_draft_model_path}：投机草稿模型地址，模型格式是HuggingFace的目录格式。即Step1
Administrator 裸金属服务器BMS BMS FullAccess 镜像服务IMS IMS FullAccess 数据加密服务DEW DEW KeypairReadOnlyAccess 虚拟私有云VPC VPC FullAccess 弹性云服务器ECS ECS FullAccess
分别确认使用何种认证方式、访问通道、传输协议，以上三个要素共同构成您的访问请求，三者可自由组合互不影响（例如不同的认证方式可以搭配不同的访问通道、不同的传输协议）。 图1 认证方式、访问通道、传输协议 当前ModelArts支持访问在线服务的认证方式有以下方式（案例中均以HTTPS请求为例）：
打开”，打开Notebook实例。 ModelArts Lite DevServer 开通裸金属服务器资源请见DevServer资源开通，在裸金属服务器上搭建迁移环境请见裸金属服务器环境配置指导。 父主题： GPU推理业务迁移至昇腾的通用指导
引擎。 BMS 裸金属服务器（Bare Metal Server）是一款兼具虚拟机弹性和物理机性能的计算类服务，为您和您的企业提供专属的云上物理服务器，为核心数据库、关键应用系统、高性能计算、大数据等业务提供卓越的计算性能以及数据安全。 ECS 弹性云服务器（Elastic Cloud
可见的GPU： os.environ['CUDA_VISIBLE_DEVICES'] = '0,1,2,3,4,5,6,7' 其中，0为服务器的GPU编号，可以为0，1，2，3等，表明对程序可见的GPU编号。如果未进行添加配置则该编号对应的GPU不可用。 父主题： GPU相关问题
从OBS导入到SFS Turbo高性能文件存储中，数据预热功能的具体操作请参考创建SFS Turbo 和 OBS 之间的联动任务。 在ECS服务器挂载SFS Turbo已经将SFS Turbo挂载到了/mnt/sfs_turbo目录，这里参考obsutil文档，直接使用obsut
重新启动镜像激活SFS盘中的虚拟环境 保存并共享虚拟环境 前提条件 创建一个Notebook，“资源类型”选择“专属资源池”，“存储配置”选择“SFS弹性文件服务器”，打开terminal。 创建新的虚拟环境并保存到SFS目录 创建新的conda虚拟环境。 # shell conda create --prefix
安装VS Code软件 VS Code下载方式： 下载地址: https://code.visualstudio.com/updates/v1_85 图1 VS Code的下载位置 VS Code版本要求： 建议用户使用VS Code 1.85.2版本进行远程连接。 VS Code安装指导如下：
迁移环境准备 迁移环境准备有以下两种方式： 表1 方式说明 序号 名称 说明 方式一 ModelArts Notebook 该环境为在线调试环境，主要面向演示、体验和快速原型调试场景。 优点：可快速、低成本地搭建环境，使用标准化容器镜像，官方Notebook示例可直接运行。 缺点
启动推理服务 本章节主要介绍大语言模型的推理服务启动方式，包括离线推理和在线推理2种方式。 离线推理 编辑一个python脚本，脚本内容如下，运行该脚本使用ascend-vllm进行模型离线推理。 from vllm import LLM, SamplingParams def
获取用户绑定APP的api列表 功能介绍 获取用户绑定app的API列表。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/
对未知的数据进行预测。为了获取更准确的预测结果，用户需要选择一个合适的算法来训练模型。针对不同的场景，ModelArts提供大量的算法样例。以下章节提供了关于业务场景、算法学习方式、算法实现方式的指导。 选择算法的实现方式 ModelArts提供如下方式实现模型训练前的算法准备。
预置镜像选择 图4 自定义镜像预热 创建密钥所需的仓库地址、用户名、密码、可以参考对应租户的SWR登录指令。 图5 创建密钥 图6 登录指令 上图中为临时登录指令，若需长期有效登录指令，可单击图中的“如何获取长期有效指令”链接获取指导。 单击“确定 ”后，在预热信息框中可以看到已成功预热的镜像信息。
CommonOperations权限只能二选一，不能同时选。 SFS弹性文件服务 弹性文件服务SFS Turbo的所有权限。使用SFS服务时需要配置。 ECS弹性云服务器 弹性云服务器所有权限。使用ECS服务时需要配置。 SWR容器镜像仓库 容器镜像仓库所有权限。使用SWR服务时需要配置。同时，还需开通SWR组织权限。
在ModelArts中训练好后的模型如何获取？ 使用自动学习产生的模型只能在ModelArts上部署上线，无法下载至本地使用。 使用自定义算法或者订阅算法训练生成的模型，会存储至用户指定的OBS路径中，供用户下载。 父主题： Standard模型训练
训练作业”进入训练作业列表。 单击“创建训练作业”，进入创建训练作业页面，填写作业信息，创建方式参考表1，其他参数填写请参考创建训练作业。 表1 创建训练作业的创建方式 参数名称 说明 创建方式 必选，选择“自定义算法”。 启动方式 必选，选择“预置框架”，并选择训练作业要使用的预置框架引擎和引擎版本，引擎版本选择“自定义”。
小模型权重地址，目前支持相对基础模型（如llama2-13b-chat）较小的LLM模型（如llama1.1b）或者基础模型对应的eagle模型（如EAGLE-llama2-chat-13B） Eagle小模型可以通过开源模型获取，也可以参考Eagle投机小模型训练训练获取。 online
网。 购买弹性云服务器ECS 如果您需要在服务器上部署相关业务，较之物理服务器，弹性云服务器的创建成本较低，并且可以在几分钟之内快速获得基于云服务平台的弹性云服务器设施，并且这些基础设施是弹性的，可以根据需求伸缩。操作指导请参考自定义购买ECS。 购买时需注意，ECS需要和SFS买到同一个VPC才能挂载SFS存储。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
