检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过VPC高速访问通道的方式访问在线服务 背景说明 访问在线服务的实际业务中，用户可能会存在如下需求： 高吞吐量、低时延 TCP或者RPC请求 因此，ModelArts提供了VPC直连的高速访问通道功能以满足用户的需求。 使用VPC直连的高速访问通道，用户的业务请求不需要经过推理
04每次内核升级后，系统需要重新启动以加载新内核。如果您已经安装了自动更新功能，则系统将自动下载和安装可用的更新，这可能导致系统在不经意间被重启；如果使用的软件依赖于特定版本的内核，那么当系统自动更新到新的内核版本时，可能会出现兼容性问题。在使用Ubuntu20.04时，建议手动控制内核的更新。 禁用自动
错误。 原因分析 一般情况都是模型的端口配置有问题。建议您首先检查创建模型的端口是否正确。 处理方法 模型的端口没有配置，如您在自定义镜像配置文件中修改了端口号，需要在部署模型时，配置对应的端口号，使新的模型重新部署服务。 如何修改默认端口号，请参考使用自定义镜像创建在线服务，如何修改默认端口。
封装使用，过程中需要连接互联网git clone，请确保环境可以访问公网，详解操作如下： 进入代码包Dockerfile文件同级目录： cd /home/ma-user/ws/llm_train/LLaMAFactory 构建新镜像： docker build -t <镜像名称>:<版本名称>
封装使用，过程中需要连接互联网git clone，请确保环境可以访问公网，详解操作如下： 进入代码包Dockerfile文件同级目录： cd /home/ma-user/ws/llm_train/LLaMAFactory 构建新镜像： docker build -t <镜像名称>:<版本名称>
earning”也请替换为自定义的值。 选择左侧导航栏的“总览”，单击页面右上角的“登录指令”，在弹出的页面中单击复制登录指令。 此处生成的登录指令有效期为24小时，如果需要长期有效的登录指令，请参见获取长期有效登录指令。获取了长期有效的登录指令后，在有效期内的临时登录指令仍然可以使用。
参数类型 描述 flavor_id String 资源规格的ID。 flavor_name String 资源规格的名称。 max_num Integer 资源规格的最大节点数。 flavor_type String 资源规格的类型。可选值如下： CPU GPU Ascend billing
用户自定义镜像或者通过基础镜像导入的模型时，用户自己编写了很多自定义的业务逻辑，这些逻辑有问题将会导致服务部署或者预测失败，需要能够排查出哪里有问题。 处理方法 服务部署失败后，进入服务详情界面，查看服务部署日志，明确服务部署失败原因（用户代码输出需要使用标准输入输出函数，否则输出的内容不会呈现到前
查询超参搜索某个trial的结果 功能介绍 根据传入的trial_id，查询指定trial的搜索结果。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v2
查询资源池的所有标签 功能介绍 查询用户当前项目下资源池的所有标签，默认查询所有工作空间，无权限的工作空间不返回标签数据。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI
超参搜索所有trial结果的字段信息。 data Array<Array<String>> 超参搜索所有trial结果的每条数据列表。 请求示例 如以下查询training_job_id为5b60a667-1438-4eb5-9705-85b860e623dc的作业的所有trial的信息。 GET
params 参数 参数类型 描述 key String 超参搜索算法的参数名称。 value String 超参搜索算法的参数取值。 type String 超参搜索算法的参数类型。 请求示例 查询0代码超参搜索支持的搜索算法的信息。 GET https://endpoint/v2/{p
用已购买的专属资源池，则以上操作用到的计算资源会直接通过专属资源池来付费。按需计费的专属资源池，创建后会持续计费，不使用时请及时删除。 除了ModelArts总览页呈现的计费项之外，如果用户使用了OBS、云硬盘EVS存储，也会扣费。 请前往OBS控制台，及时清空OBS中的数据。
SSE主要解决了客户端与服务器之间的单向实时通信需求（例如ChatGPT回答的流式输出），相较于WebSocket（双向实时），它更加轻量级且易于实现。 前提条件 在线服务中的模型导入选择的镜像需支持SSE协议。 约束与限制 SSE协议只支持部署在线服务。 只支持自定义镜像导入模型部署的在线服务。 调
如果你已经注册成为了AI Gallery平台上的合作伙伴，AI Gallery支持发布共享你的解决方案。 在“AI Gallery”页面中，单击右上角“我的Gallery > 我的主页”进入个人中心页面。 左侧菜单栏选择“解决方案”进入解决方案列表页，单击右上方的“发布”，进入发布解决方案页面。
AI Gallery的入口在哪里 控制台入口 登录ModelArts管理控制台。 在左侧导航栏中选择“AI Gallery”跳转到AI Gallery首页。 直接网址访问 旧版AI Gallery将下线，已不再更新，建议使用新版AI Gallery。 旧版AI Gallery地址：https://developer
修改模型服务QPS 流量限制QPS是评估模型服务处理能力的关键指标，它指示系统在高并发场景下每秒能处理的请求量。这一指标直接关系到模型的响应速度和处理效率。不当的QPS配置可能导致用户等待时间延长，影响满意度。因此，能够灵活调整模型的QPS对于保障服务性能、优化用户体验、维持业务流畅及控制成本至关重要。
是 String 用户项目ID。获取方法请参见获取项目ID和名称。 training_job_id 是 String 训练作业ID。获取方法请参见查询训练作业列表。 task_id 是 String 训练作业的任务名称。可从训练作业详情中的status.tasks字段中获取。 project_id
训练任务的排队逻辑是什么？ 当前训练任务排队的逻辑是先进先出，前面的任务没运行完后面的任务不会运行，有可能会造成小任务被“饿死”，需要用户注意。 饿死指的是前面的任务被一个大的任务堵着（例如是64卡），需要等空闲64卡这个任务才能运行，64卡的任务后面跟着1卡的。即使现在空出来30卡，这个1卡的任务也排不上。
用已购买的专属资源池，则以上操作用到的计算资源会直接通过专属资源池来付费。按需计费的专属资源池，创建后会持续计费，不使用时请及时删除。 除了ModelArts总览页呈现的计费项之外，如果用户使用了OBS、云硬盘EVS存储，也会扣费。 请前往OBS控制台，及时清空OBS中的数据。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
