检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Gallery也支持管理从ModelArts中发布的模型和数据集等资产,具体可参见发布数据集到AI Gallery、将Workflow工作流发布到AI Gallery、将ModelArts AI应用发布到AI Gallery、发布算法到AI Gallery。 发布到AI Gall
n。 您也可以通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求,具体可参见用户AK-SK认证模式。 图3 参数填写 在Body页签,根据AI应用的输入参数不同,可分为2种类型:文件输入、文本输入。 文件输入 选择“form-data”
cluster_id 否 String MRS集群ID。可登录MRS控制台查看。 cluster_mode 否 String MRS集群运行模式。可选值如下: 0:普通集群 1:安全集群 cluster_name 否 String MRS集群名称。可登录MRS控制台查看。 database_name
使用AK/SK认证时,您可以通过APIG SDK访问,也可以通过ModelArts SDK访问。使用ModelArts SDK访问参见用户AK-SK认证模式。本文档详细介绍如何通过APIG SDK访问在线服务,具体操作流程如下: 获取AK/SK 获取在线服务信息 发送预测请求 方式一:使用Python语言发送预测请求
-广州、中国-香港、亚太-曼谷、亚太-新加坡、拉美-圣地亚哥 自动学习介绍 自动学习案例教程 Workflow Workflow(也称工作流,下文中均可使用工作流进行描述)本质是开发者基于实际业务场景开发用于部署模型或应用的流水线工具。在机器学习的场景中,流水线可能会覆盖数据标注
属性 描述 是否必填 数据类型 name 工作流的名称,命名规范(只能包含英文字母、数字、下划线(_)、中划线(-),并且只能以英文字母开头,长度限制为64位字符 是 str desc 工作流的描述信息 是 str steps 工作流包含的节点列表 是 list[Step] storages
览页面下方会显示该图片的标签信息。 在“未标注”页签,勾选需进行标注的图片。 手工点选:在图片列表中,单击勾选图片左上角的选择框,进入选择模式,表示图片已勾选。可勾选同类别的多个图片,一起添加标签。 批量选中:如果图片列表的当前页,所有图片属于一种类型,可以在图片列表的右上角单击
可以独享的网络资源。 否 str security_group_id 安全组,默认为空,当配置了vpc_id则此参数必填。安全组起着虚拟防火墙的作用,为服务实例提供安全的网络访问控制策略。安全组须包含至少一条入方向规则,对协议为TCP、源地址为0.0.0.0/0、端口为8080的请求放行。
图片中添加多个标注框以及标签。需注意的是,标注框不能超过图片边缘。 当图片目录中所有图片都完成标注后,返回“自动学习工作流”页面,单击“继续运行”按钮,工作流将会自动发布数据标注版本,并进行下一步训练步骤。 同步或添加图片 在“数据标注”节点单击“实例详情”进入数据标注页面,数据
系统设置的默认值为3,表示使用RoCE v2协议。 NCCL_IB_TC 系统设置的默认值为128,表示数据包走交换机的队列4,队列4使用PFC流控机制来保证网络是无损的。 如果训练时,需要提升通信稳定性,可以增加配置其他NCCL环境变量,如表2所示。 表2 建议增加的环境变量 环境变量
减少显存占用,以提升推理吞吐量。 export USE_PFA_HIGH_PRECISION_MODE=1 # PFA算子是否使用高精度模式;默认值为0表示不开启。针对Qwen2-7B模型,必须开启此配置,否则精度会异常;其他模型不建议开启,因为性能会有损失。 如果需要增加模型
删除操作无法恢复,请谨慎操作。 没有委托授权时,无法删除服务。 如果在线服务开启了“运行日志输出”,删除服务时,推荐同时删除LTS中的日志以及日志流,避免LTS日志流超过限额产生额外费用,如后续不再使用,建议删除。 重启服务 只有当在线服务处于“运行中”或“告警”状态时,才可进行重启操作。批量服
删除操作无法恢复,请谨慎操作。 没有委托授权时,无法删除服务。 如果在线服务开启了“运行日志输出”,删除服务时,推荐同时删除LTS中的日志以及日志流,避免LTS日志流超过限额产生额外费用,如后续不再使用,建议删除。 重启服务 只有当在线服务处于“运行中”或“告警”状态时,才可进行重启操作。批量服
盘古数字人大脑:基于在MaaS开源大模型部署的模型API,升级智能对话解决方案,含智能客服、数字人。 Dify:支持自部署的应用构建开源解决方案,用于Agent编排、自定义工作流。 操作步骤 登录ModelArts管理控制台。 在左侧导航栏中,选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。
(设置对象ACL) 在工作流中使用OBS数据 工作流运行 IAM iam:users:listUsers(查询用户列表) iam:agencies:getAgency(查询指定委托详情) iam:tokens:assume(获取委托Token) 在工作流运行时,调用ModelArts其他服务
自动停止,即1小时后停止规格资源计费。 开启自动停止功能后,可选择“1小时”、“2小时”、“4小时”、“6小时”或“自定义”几种模式。选择“自定义”模式时,可指定1~24小时范围内任意整数。 填写Notebook详细参数,如镜像、资源规格等。 镜像:在“自定义镜像”页签选择已上传的自定义镜像。
resource wf.SystemEnv wf.add_whitelist_users wf.delete_whitelist_users 编写工作流代码示例 以图像分类为例,阐述机器学习端到端场景的完整开发过程,主要包括数据标注、模型训练、服务部署等过程。您需要准备如下算法和数据集。 准备一个图像分类算法(或者可以直接从AI
作指导请参见调用MaaS部署的模型服务。 当调用模型服务的API,返回状态码“429 Too Many Requests”时,表示请求超过流控,请稍后重新调用。 (可选)当免费Token额度用完后,还要继续使用该模型,建议部署为“我的服务”使用。 在预置服务列表,选择所需的服务,单击操作列的“更多
<>+&"'符号。 security_group_id 否 String 安全组,默认为空,当配置了vpc_id则此参数必填。安全组起着虚拟防火墙的作用,为服务实例提供安全的网络访问控制策略。安全组须包含至少一条入方向规则,对协议为TCP、源地址为0.0.0.0/0、端口为8080的请求放行。
减少显存占用,以提升推理吞吐量。 export USE_PFA_HIGH_PRECISION_MODE=1 # PFA算子是否使用高精度模式;默认值为0表示不开启。针对Qwen2-7B模型,必须开启此配置,否则精度会异常;其他模型不建议开启,因为性能会有损失。 如果需要增加模型