检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击服务名称进入服务详情页,在“配置更新记录”页签中,单击模型名称,进入模型详情页。 在“基本信息”中,复制模型的ID。 图3 获取模型ID 根据查询到的资源名称拼接账单中上报的资源名称。 拼接规则:在线服务名称-模型的ID 假设在线服务名称为service_predictor_name,模型的ID为b9c97269
下,打开对应的“.ipynb”案例后运行即可。 ResNet50模型迁移到Ascend上进行推理:通过使用MindSpore Lite对ResNet50模型在Ascend执行推理为例,向大家介绍MindSpore Lite的基础功能和用法。 图2 ResNet50模型迁移到Ascend上进行推理
用户名密码认证模式 本模式支持OBS管理、训练管理、模型管理、服务管理的鉴权。 示例代码 账号与用户的概念介绍,请参见IAM基本概念。获取您的账号、用户名等信息,请参见获取用户名、用户ID、项目名称、项目ID。 使用账号认证 “username”填写您的账号名。 1 2 from modelarts
SDK)是对ModelArts服务提供的REST API进行的Python封装,以简化用户的开发工作。用户直接调用ModelArts SDK即可轻松管理数据集、启动AI训练以及生成模型并将其部署为在线服务。 ModelArts SDK目前只提供Python语言的SDK,同时支持大于3.7.x版本且小于3
ExportKeys.TF_SERVING) 如果标签发生变化 当数据集中的标签发生变化时,需要执行如下语句。此语句需在“mox.run”之前运行。 语句中的“logits”,表示根据不同网络中分类层权重的变量名,配置不同的参数。此处填写其对应的关键字。 mox.set_flag('checkpoi
少客户自行配置环境的复杂度。 范围 本文涉及PyTorch训练的单卡和分布式业务迁移到昇腾的业务范围。当前针对常见的开源LLM/AIGC等领域的开源模型,ModelArts已经提供了迁移好的开箱即用模型,且保证了较优的精度和性能。如果用户业务同样使用这些开源模型,建议直接使用Mo
云服务”模式,客户端请求应答可接受的最长时延为2秒。 - 模型参数规模,是否涉及分布式推理 10B/100B,单机多卡推理。 - 能否提供实际模型、网络验证的代码和数据等信息 提供实际模型、网络验证的代码和数据。 提供与业务类型类似的开源模型,例如GPT3 10B/13B。 提供测试模型以及对应的Demo代码路径(开源或共享)。
工具内部对于随机的控制,是通过设定统一的随机种子进行随机性固定的。但是由于硬件的差异,会导致同样的随机种子在不同硬件上生成的随机数不同。具体示例如下: 由上图可见,torch.randn在GPU和NPU上固定随机种子后,仍然生成不同的随机张量。 对于上述场景,用户需要将网络中的randn
ToolKit工具仅支持Windows版本的PyCharm。 表1 ToolKit(latest)功能列表 支持的功能 说明 对应操作指导 SSH远程连接 支持SSH远程连接ModelArts的Notebook开发环境。 配置PyCharm ToolKit远程连接Notebook 训练模型 支持将本地开发的代码,快
请在“在线服务”详情页面的日志页签中查看对应的报错日志,分析报错原因。 图2 报错日志 从上图报错日志判断,预测失败是模型推理代码编写有问题。 解决方法 根据日志报错提示,append方法中缺少必填参数,修改模型推理代码文件“customize_service.py”中的代码,给append方法中传入合理的参数。
息头中X-Subject-Token的值)。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 total_count Integer 不分页的情况下符合查询条件的总服务数量。 count Integer 当前查询结果的服务数量,不设置offset、lim
管理我的服务 扩缩容模型服务实例数 修改模型服务QPS 升级模型服务
than windows。 原因分析 该报错说明预测使用的数据行数小于window超参值。 在使用订阅算法时序预测-time_series_v2训练时,超参:window设置为60。训练完成并创建模型后,部署在线服务,进行预测,当预测的数据行数小于window超参值时,日志中有报错信息:ERROR:
Tools工具链下精度调试部分的工具包,主要包括精度预检、溢出检测和精度比对等功能,目前适配PyTorch和MindSpore框架。这些子工具侧重不同的训练场景,可以定位模型训练中的精度问题。 精度预检工具旨在计算单个API在整网计算中和标杆场景下的差异,对于无明确精度差异来源情况或者对模型了解不多的
体可参见发布模型到AI Gallery、发布数据集到AI Gallery。对于支持部署为AI应用的AI Gallery模型,可将此模型部署为AI应用,具体可参见将AI Gallery中的模型部署为AI应用。 发布后的资产,可通过微调大师训练模型和在线推理服务部署模型,具体可参见使用AI
问题现象 训练过程中复制数据/代码/模型时出现如下报错: 图1 错误日志 原因分析 出现该问题的可能原因如下。 磁盘空间不足。 分布式作业时,有些节点的docker base size配置未生效,容器内“/”根目录空间未达到50GB,只有默认的10GB,导致作业训练失败。 实际存储空间足够,却依旧报错“No
务绑定的APP的AppKey和AppSecret所生产的这两个字段的值,以完成对该请求的签名认证。具体指导参见链接:访问在线服务(APP认证)。 Body: body的组装和模型强相关,不同来源的模型body的组装方式不同。 模型为从容器镜像中导入的:需要按照自定义镜像的要求组织,请咨询该镜像的制作人。
一个在线服务中同时配置了多个模型版本且设置不同的流量权重比例时,持续地访问此服务的预测接口,ModelArts会按此权重比例将预测请求转发到对应的模型版本实例。 deploy_timeout_in_seconds 否 Integer 单个模型实例部署的超时时间。 model_id
APPcode认证是一种简易的API调用认证方式,通过在HTTP请求头中添加参数X-Apig-AppCode来实现身份认证,无需复杂的签名过程,适合于客户端环境安全可控的场景,如内网系统之间的API调用。在ModelArts中,支持在部署在线服务时开启AppCode认证(部署模型为在线服务中的“支持A
“我的订阅”:可以查看个人订阅的模型信息,如发布者、应用控制台、剩余配额等。通过右侧的“取消订阅”或“找回订阅”可以管理已订阅的ModelArts模型。取消订阅后,在ModelArts管理控制台“模型管理 > 模型 > 我的订阅”列表中,将不再展示该模型。已取消订阅的模型可以找