检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MaaS使用场景和使用流程 ModelArts Studio大模型即服务平台（后续简称为MaaS服务），提供了简单易用的模型开发工具链，支持大模型定制开发，让模型应用与业务系统无缝衔接，降低企业AI落地的成本与难度。 当您第一次使用MaaS服务时，可以参考快速入门使用ModelArts
# 推理工具 代码上传至SFS Turbo 将AscendSpeed代码包AscendCloud-LLM-xxx.zip直接上传至ECS服务器中的SFS Turbo中，例如存放在/mnt/sfs_turbo/AscendCloud-LLM-xxx.zip目录下并解压缩。 unzip
# 推理工具 代码上传至SFS Turbo 将AscendSpeed代码包AscendCloud-LLM-xxx.zip直接上传至ECS服务器中的SFS Turbo中，例如存放在/mnt/sfs_turbo/AscendCloud-LLM-xxx.zip目录下并解压缩。 unzip
产也会展示在“我的Gallery > 我的资产 > 算法 > 我的订阅”。 使用算法 订阅成功的算法可在ModelArts管理控制台使用，如创建训练作业等。 方式一：从算法详情页进入管理控制台 在算法详情页单击“前往控制台”。 在弹出的“选择云服务区域”页面选择ModelArts
用内存，导致磁盘空间不足。 磁盘配额不足。 处理方法 查看虚拟机所使用的存储空间，再查看回收站文件占用内存，根据实际删除回收站里不需要的大文件。 在Notebook实例详情页，查看实例的存储容量。 执行如下命令，排查虚拟机所使用的存储空间，一般接近存储容量，请排查回收站占用内存。
单击右上角“创建”，进入“创建Notebook”页面，请参见如下说明填写参数。 填写Notebook基本信息，包含名称、描述、是否自动停止。 填写Notebook详细参数，如选择镜像、资源规格等。 “镜像”：选择公共镜像下任意一个支持CPU类型的镜像，例如：tensorflow2.1-cuda10.1-cudnn7-ubuntu18
npu-smi info -t board -i 1 | egrep -i "software|firmware" #查看驱动和固件版本 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 驱动版本要求是23
ma-cli configure鉴权命令 鉴权信息说明 在虚拟机及个人PC场景，需要配置鉴权信息，目前支持用户名密码鉴权（默认）和AK/SK鉴权； 在使用账号认证时，需要指定username和password；在使用IAM用户认证时，需要指定account、username和password；
当用户账号余额不足造成扣费失败时，账号将变成欠费状态。 欠费后，按需资源不会立即停止服务，资源进入宽限期。如果在宽限期内仍未支付欠款，那么付费资源（如计算规格、OBS桶）、等都将被冻结，资源进入保留期。保留期的资源不支持任何操作。如果用户在宽限期内充值，则华为云会自动扣取欠费金额（含宽限期内产生的费用）
Native的资源、任务等能力，用户可以直接操作资源池中的节点和k8s集群。请参见弹性集群k8s Cluster。 弹性裸金属：弹性裸金属提供不同型号的xPU裸金属服务器，您可以通过弹性公网IP进行访问，在给定的操作系统镜像上可以自行安装GPU&NPU相关的驱动和其他软件，使用SFS或OBS进行数据存储和读
委托中选择新建的委托，然后单击“创建”。 验证权限是否配置成功。 登录子用户账号，如果用户能在控制台上成功创建使用自定义镜像创建训练作业（如单机单卡场景下创建训练作业），则表示权限配置成功。 父主题： 典型场景配置实践
什么是区域、可用区？ 什么是区域、可用区？ 区域和可用区用于描述数据中心的位置，您可以在特定的区域、可用区创建资源。 区域（Region）：从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为
模型使用CV2包部署在线服务报错 问题现象 使用CV2包部署在线服务报错。 原因分析 使用OBS导入元模型，会用到服务侧的标准镜像，标准镜像里面没有CV2依赖的so的内容。所以ModelArts不支持从对象存储服务（OBS）导入CV2模型包。 处理方法 需要您把CV2包制作为自定
Performance Adviso主页面 提交性能诊断任务 如果您的NPU性能数据存放在OBS上，Source选择OBS，Path输入OBS地址，格式如obs://bucket1/profiling_dir1，单击Submit按钮。界面参考下图。 图4 分析OBS上的性能数据 如果您的NPU
从AI Gallery订阅模型 在AI Gallery中，支持订阅官方发布或者他人分享的模型，订阅后的模型，可推送至ModelArts模型管理中，进行统一管理。 订阅模型与云服务订阅模型的区别： 在管理控制台，模型管理所在位置不同。订阅模型统一管理在“模型管理>订阅模型”页面中，
使用ModelArts时提示“权限不足”，如何解决？ 当您使用ModelArts时如果提示权限不足，请您按照如下指导对相关服务和用户进行授权，并对用户权限进行检查操作。 本案例中以OBS权限不足为例，介绍如何为用户授予OBS服务权限。其它权限不足的场景也可以参考本案例操作，只是授
启动入口文件run.sh需要自定义。示例如下： #!/bin/bash # 自定义脚本内容 ... # run.sh调用app.py启动服务器，app.py请参考https示例 python app.py 除了按上述要求设置启动命令，您也可以在镜像中自定义启动命令，在创建模型时填写与您镜像中相同的启动命令。
个段，然后在以后需要更多内存时扩展它的大小。开启时可能提升模型性能。报错则关闭。 --chat-template：对话构建模板，可选参数。如： （1）llava chat-template：${vllm_path}/examples/template_llava.jinja 方式二：通过vLLM服务API接口启动服务
启动入口文件run.sh需要自定义。示例如下： #!/bin/bash # 自定义脚本内容 ... # run.sh调用app.py启动服务器，app.py请参考https示例 python app.py 除了按上述要求设置启动命令，您也可以在镜像中自定义启动命令，在创建模型时填写与您镜像中相同的启动命令。
通过Function Calling扩展大语言模型对外部环境的理解 本示例将展示如何定义一个获取送货日期的函数，并通过LLM来调用外部API来获取外部信息。 操作步骤 设置Maas的api key和模型服务地址。 import requests from openai import
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
