检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
环境开通指导请参考DevServer资源开通；环境配置指导请参考Snt9B裸金属服务器环境配置指南。 本文基于ModelArts Lite DevServer进行操作，请参考上表说明在贵阳一环境开通和配置指导完成裸机和容器开发初始化配置。 镜像地址为swr.cn-southwest-2.myhuaweicloud
资源。 图5 报错信息 ECS、BMS节点创建失败？ 查看资源池失败报错信息： 包含错误码，如：Ecs.0000时，可查看弹性云服务器 ECS_错误码查看详细的错误信息及处理措施。 包含错误码，如：BMS.0001时，可查看裸金属服务器 BMS_错误码查看详细的错误信息及处理措施。
用的资源选择。 在ECS服务器挂载SFS Turbo存储 在ECS服务器挂载SFS Turbo存储后，支持将训练所需的数据通过ECS上传至SFS Turbo。 检查云服务环境。 ECS服务器和SFS的共享硬盘在相同的VPC或者对应VPC能够互联。 ECS服务器基础镜像用的是Ubuntu
search_content 否 String 指定要查询的文字信息，例如参数名称。默认为空。 config_type 否 String 指定要查询的配置类型，可选值有以下两种 “custom”为查询用户自定义配置。 “sample”为查询示例配置，默认为“custom”。 响应消息 响应参数如表3所示。
情况自行填写。 其他参数保持默认值。 单击“立即创建”，跳转到模型列表页，查看模型状态，当状态变为“正常”，模型创建成功。 图1 创建模型 单击模型名称，进入模型详情页面，查看模型详情信息。 部署服务并查看详情 在模型详情页面，单击右上角“部署>在线服务”，进入服务部署页面，模型
很多自定义的业务逻辑，这些逻辑有问题将会导致服务部署或者预测失败，需要能够排查出哪里有问题。 处理方法 服务部署失败后，进入服务详情界面，查看服务部署日志，明确服务部署失败原因（用户代码输出需要使用标准输入输出函数，否则输出的内容不会呈现到前端页面日志）。根据日志中提示的报错信息找到对应的代码进行定位。
购买对象存储服务OBS 购买容器镜像服务SWR 创建网络 购买ModelArts专属资源池 购买弹性云服务器ECS 基本配置： 权限配置 专属资源池VPC打通 ECS服务器挂载SFS Turbo存储 在ECS中创建ma-user和ma-group obsutils安装和配置 （可选）工作空间配置
在成员所在行的“操作”列，单击“修改”。在弹出的对话框中，修改其“描述”或“角色”。 成员的“邮箱”无法修改，如果需要修改邮箱地址，建议先删除此成员，然后再基于新的邮箱地址添加新成员。 “角色”支持“Labeler”、“Reviewer”和“Team Manager”，“Team Manager”只能设置为一个人。
ptions数据集，官网下载地址：https://huggingface.co/datasets/lambdalabs/pokemon-blip-captions/tree/main Step6 准备镜像 创建ECS。 参考ECS文档购买弹性云服务器。网络配置、高级配置等后续步骤
在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。 模型权重文件获取地址请参见支持的模型列表和权重文件。 如果需要部署量化模型，请参考推理模型量化在Notebook中进行权重转换，并将转换后的权重上传至OBS中。
本教程中用到的模型软件包如下表所示，请提前准备好。 获取模型软件包 本方案支持的模型对应的软件和依赖包获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6.3.907-xxx.zip 说明： 软件包名称中的xxx表示时间戳。
本示例将展示如何定义一个获取送货日期的函数，并通过LLM来调用外部API来获取外部信息。 操作步骤 设置Maas的api key和模型服务地址。 import requests from openai import OpenAI client = OpenAI( api_key="您的
配置Lite Server软件环境 NPU服务器上配置Lite Server资源软件环境 GPU服务器上配置Lite Server资源软件环境 父主题： Lite Server资源配置
准备好。 获取模型软件包和权重文件 本方案支持的模型对应的软件和依赖包获取地址如表1所示，模型列表、对应的开源权重获取地址如表1所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6.3.910-xxx.zip 说明： 软件包名称中的xxx表示时间戳。
在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。 模型权重文件获取地址请参见支持的模型列表和权重文件。 若需要部署量化模型，请参考推理模型量化在Notebook中进行权重转换，并将转换后的权重上传至OBS中。
在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。 模型权重文件获取地址请参见表1。 若需要部署量化模型，请参考推理模型量化在Notebook中进行权重转换，并将转换后的权重上传至OBS中。 权重文件夹不要以"
引擎包：从容器镜像中选择一个镜像。 其他参数保持默认值。 单击“立即创建”，跳转到模型列表页，查看模型状态，当状态变为“正常”，模型创建成功。 图1 创建模型 单击模型名称，进入模型详情页面，查看模型详情信息。 部署服务并查看详情 在模型详情页面，单击右上角“部署>在线服务”，进入服务部署页面，模型
local/etc/jupyter/jupyter_notebook_config.py 在打开的juputer_notebook_config.py中，增加以下代码后按ESC退出然后输入:wq保存。 c.ServerProxy.servers = { 'grafana': { 'command':
将在ModHeader插件中添加Key值和Value值。 图14 添加Key和value 进入在线服务详情页，查看APP认证方式的服务API。 图15 API接口公网地址 复制API接口公网地址，并在地址后添加"/"，进行页面访问，例如： https://infer-app-modelarts-cn-southwest-2
SSH：可以通过SSH协议远程连接Notebook。 key_pair_names 否 Array of strings SSH密钥对名称，可以在云服务器控制台（ECS）“密钥对”页面创建和查看。 表4 VolumeReq 参数 是否必选 参数类型 描述 capacity 否 Integer 存储容量，EVS默认5G，最大限制4096G。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
