检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
每层构建的时候都尽量把tar包等中间态文件删除，保证最终镜像更小，清理缓存的方法可参考：conda clean。
常用框架指使用ModelArts训练管理中支持的常用AI引擎，当前支持的引擎列表请参见ModelArts支持的预置镜像列表。 如果您使用的AI引擎为支持列表之外的，建议使用自定义镜像的方式创建训练作业。 AI Engine 选择代码使用的AI引擎及其版本。
基于训练版本可以对训练模型进行管理。当训练的模型达到目标后，再执行模型部署的操作。 评估结果说明 根据训练数据类的不同评估结果会包含不同的指标。
API Key MaaS鉴权管理界面中创建的API Key。具体操作，请参见步骤一：获取API Key。 API Endpoint URL 服务调用界面中MaaS服务的基础API地址，需要去掉地址尾部的“/chat/completions” 。
Step2 部署模型 在ModelArts控制台的AI应用管理模块中，将模型部署为一个AI应用。 登录ModelArts控制台，单击“资产管理 > AI应用 > 创建”，开始创建AI应用。 设置创建AI应用的相应参数。
方式一: 重新设置 export no_proxy=xxx export NO_PROXY=xxx 方式二: 删掉相关环境变量 unset no_proxy unset NO_PROXY 父主题： API/SDK
创建VPC 虚拟私有云（Virtual Private Cloud）可以为您构建隔离的、用户自主配置和管理的虚拟网络环境，操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo SFS Turbo HPC型文件系统为用户提供一个完全托管的共享文件存储。
创建VPC 虚拟私有云（Virtual Private Cloud）可以为您构建隔离的、用户自主配置和管理的虚拟网络环境，操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo SFS Turbo HPC型文件系统为用户提供一个完全托管的共享文件存储。
支持本地文件，OBS路径及用户已上传到DLI资源管理系统的文件。如果需要指定多个参数，可以使用--resources resource1 --resources resource2。
如果存在四通道图片，智能标注任务将运行失败，因此，请从数据集中删除四通道图片后，再启动智能标注。 启动智能标注前要保证当前数据集不存在正在进行中的智能标注任务。 操作步骤 调用认证鉴权接口获取用户的Token。
购买操作如下： 登录ModelArts管理控制台。 在左侧导航栏中，选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。 在ModelArts Studio首页单击“购买套餐包”，进入购买页面。
AppCode的获取方法：单击AI Gallery页面右上角“我的Gallery”，在左侧菜单栏选择“鉴权管理”。在“鉴权管理”中单击“创建AppCode”，填写描述信息后，即可在列表中显示新增的AppCode。
所有中国大陆境内下沉POD区的服务均遵守国家《互联网信息服务管理办法》要求。 父主题： 安全
* GPU 支持在容器中使用GPU显卡的设备管理插件。 2.0.48 v1.(23|25).* huawei-npu 2.1.22（推荐） v1.(23|25|28).* NPU 支持容器里使用huawei NPU设备的管理插件。
另外，当启动服务时的模型或者参数发生改变时，请删除.torchair_cache文件夹，避免由于缓存文件与实际推理不匹配而报错。 Step4 创建pod 在节点自定义目录${node_path}下执行如下命令创建pod。
另外，当启动服务时的模型或者参数发生改变时，请删除.torchair_cache文件夹，避免由于缓存文件与实际推理不匹配而报错。 如果需要增加模型量化功能，启动推理服务前，先参考推理模型量化章节对模型做量化处理。 启动服务与请求。
Step2 部署模型 在ModelArts控制台的AI应用管理模块中，将模型部署为一个AI应用。 登录ModelArts控制台，单击“AI应用管理 > AI应用 > 创建”，开始创建AI应用。 图2 创建AI应用 设置创建AI应用的相应参数。
可在ModelArts管理控制台，单击左侧“专属资源池”，在专属资源池列表中查看资源池ID。 --train-instance-type String 否 训练作业选择的资源规格。
Ascend-vLLM支持的特性介绍 表1 Ascend-vLLM支持的特性 特性名称 特性说明 调度 Page-attention 分块管理kvcache，提升吞吐。 Continuous batching 迭代级调度，动态调整batch，降低延迟，提升吞吐。
关闭MindInsight 关闭MindInsight方式如下单击下方按钮进入MindInsight实例管理界面，该界面记录了所有启动的MindInsight实例，单击对应实例后面的SHUT DOWN即可停止该实例。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
