检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Turbo 作业日志选择OBS中的路径，ModelArts的训练作业的日志信息则保存该路径下。 最后，请参考查看日志和性能章节查看LoRA微调的日志和性能。了解更多ModelArts训练功能，可查看模型开发简介。 父主题： 主流开源大模型基于Standard+OBS+SFS适配ModelLink
约束限制 创建在线服务时，每秒服务流量限制默认为100次，如果静态benchmark的并发数（parallel-num参数）或动态benchmark的请求频率（request-rate参数）较高，会触发推理平台的流控，请在ModelArts Standard“在线服务”详情页修改服务流量限制。
约束限制 创建在线服务时，每秒服务流量限制默认为100次，如果静态benchmark的并发数（parallel-num参数）或动态benchmark的请求频率（request-rate参数）较高，会触发推理平台的流控，请在ModelArts Standard“在线服务”详情页修改服务流量限制。
约束限制 创建在线服务时，每秒服务流量限制默认为100次，如果静态benchmark的并发数（parallel-num参数）或动态benchmark的请求频率（request-rate参数）较高，会触发推理平台的流控，请在ModelArts Standard“在线服务”详情页修改服务流量限制。
将AI Gallery中的模型部署为AI应用 AI Gallery支持将模型部署为AI应用，在线共享给其他用户使用。 前提条件 选择的模型必须是支持部署为AI应用的模型，否则模型详情页没有“部署 > AI应用”选项。 部署AI应用 登录AI Gallery。 单击“模型”进入模型列表。
否则该模型无法正常使用AI Gallery工具链服务（微调大师和在线推理服务）。 当托管的是自定义镜像时，上传的模型文件要满足自定义镜像规范，否则该镜像无法正常使用AI Gallery工具链服务（微调大师和在线推理服务）。 当文件状态变成“上传成功”表示数据文件成功上传至AI
约束限制 创建在线服务时，每秒服务流量限制默认为100次，如果静态benchmark的并发数（parallel-num参数）或动态benchmark的请求频率（request-rate参数）较高，会触发推理平台的流控，请在ModelArts Standard“在线服务”详情页修改服务流量限制。
约束限制 创建在线服务时，每秒服务流量限制默认为100次，若静态benchmark的并发数（parallel-num参数）或动态benchmark的请求频率（request-rate参数）较高，会触发推理平台的流控，请在ModelArts Standard“在线服务”详情页修改服务流量限制。
如果需要部署量化模型，需在Notebook中进行模型权重转换后再部署推理服务。 在推理生产环境中部署推理服务 介绍如何在创建AI应用，部署并启动推理服务，在线预测在线服务。 父主题： 主流开源大模型基于Standard适配PyTorch NPU推理指导（6.3.908）
400 ModelArts.4314 Obs error 访问OBS时由于用户鉴权或者路径无效等导致的OBS访问错误 请检查用户访问OBS的权限或者OBS路径相关的参数。 400 ModelArts.4315 Invalid OBS path. OBS路径无效 数据url不应包含// 400
的实际时间为准。 获取路径：Support-E，在此路径中查找下载ModelArts 6.3.912 版本。 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 基础镜像包 swr.cn-southwest-2.myhuaweicloud
nel。 图1 报错Server Connection Error截图 图2 选不到Kernel 原因分析 用户误操作引起的。 解决方案 打开Terminal窗口，执行以下命令启动kernelgateway服务。 API_TYPE=kernel_gateway.jupyter_websocket
/home/ma-user/work/ 存储位置：输入用户的“子目录挂载”路径。如果默认没有填写，则忽略。 图6 选择SFS Turbo 作业日志选择OBS中的路径，ModelArts的训练作业的日志信息则保存该路径下。 最后，请参考查看日志和性能章节查看LoRA微调的日志和性能。了解更多Mo
/home/ma-user/work/ 存储位置：输入用户的“子目录挂载”路径。如果默认没有填写，则忽略。 图6 选择SFS Turbo 作业日志选择OBS中的路径，ModelArts的训练作业的日志信息则保存该路径下。 最后，请参考查看日志和性能章节查看LoRA微调的日志和性能。了解更多Mo
托管数据集到AI Gallery AI Gallery上每个资产的文件都会存储在线上的AI Gallery存储库（简称AI Gallery仓库）里面。每一个数据集实例视作一个资产仓库，数据集实例与资产仓库之间是一一对应的关系。例如，模型名称为“Test”，则AI Gallery仓
表5 Monitor 参数 参数类型 描述 failed_times Integer 模型实例调用失败次数，在线服务字段。 model_version String 模型版本，在线服务字段。 cpu_memory_total Integer 总内存，单位MB。 gpu_usage Float
Gallery在线推理服务部署模型。 如果使用自定义镜像进行训练，操作步骤可以参考使用AI Gallery微调大师训练模型，其中“训练任务类型”默认选择“自定义”，且不支持修改。 如果使用自定义镜像进行部署推理服务，操作步骤可以参考使用AI Gallery在线推理服务部署模型，
其他任务类型的模型，其他任务类型的模型被称为自定义模型。但是托管的自定义模型要满足规范才支持使用AI Gallery工具链服务（微调大师、在线推理服务）。 自定义模型的使用流程 托管模型到AI Gallery。 模型基础设置里的“任务类型”选择除“文本问答”和“文本生成”之外的类型。
远程连接处于retry状态如何解决？ 问题现象 原因分析 之前下载VS Code server失败，有残留信息，导致本次无法下载。 解决方法 方法一（本地）：打开命令面板（Windows： Ctrl+Shift+P，macOS：Cmd+Shift+P），搜索“Kill VS Code Server on
HPC型文件系统为用户提供一个完全托管的共享文件存储。SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象，用户可以指定SFS Turbo内的目录与OBS对象存储桶进行关联，然后通过创建导入导出任务实现数据同步。通过OBS与SFS Turbo存储联动，可以将最新的训练数据导入到SFS Turbo，然后在训练作业中挂载SFS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
