-
使用Notebook进行代码调试 - AI开发平台ModelArts
book实例配置信息。 在Notebook中打开Terminal,输入启动命令调试代码。 # 建立数据集软链接 # ln -s /home/ma-user/work/${coco数据集在SFS上的路径} /home/ma-user/coco # 进入到对应目录 # cd /hom
-
发布免费算法 - AI开发平台ModelArts
Gallery”页面,参考更新已发布资产的版本添加资产版本。 编辑完成后,单击右上方的“保存”完成修改。 图4 编辑算法的版本 关联资产 算法可以关联数据集资产。当算法关联了数据集时,数据集页面也显示关联了算法。 选择“关联资产”页签,单击右上方的“编辑”,在搜索框中输入待关联资产的ID,单击“关联”。 在弹
-
第三方推理框架迁移到推理自定义引擎 - AI开发平台ModelArts
像。 图3 创建AI应用 将创建的AI应用部署为在线服务,大模型加载启动的时间一般大于普通的模型创建的服务,请配置合理的“部署超时时间”,避免尚未启动完成被认为超时而导致部署失败。 图4 部署为在线服务 调用在线服务进行大模型推理,请求路径填写/v2/models/ensemble/infer,调用样例如下:
-
权限配置 - AI开发平台ModelArts
Notebook的SSH远程功能时,需要配置子用户密钥管理服务的使用权限。 OBS对象存储服务 具有对象存储服务(OBS)查看桶列表、获取桶元数据、列举桶内对象、查询桶位置、上传对象、获取对象、删除对象、获取对象ACL等对象基本操作权限。 配置IAM权限 配置ModelArts委托权限
-
场景描述 - AI开发平台ModelArts
开发的模式(VSCode SSH Remote、 Xshell)连接到容器中进行开发,可以在容器中挂载宿主机的个人存储目录,用于存放代码和数据。 当前指导中很多操作步骤在最新发放的Snt9b裸机环境中已经预置,无需用户再手动配置,用户在操作中如发现某个步骤已有预置配置可直接跳过该步骤。
-
模型转换失败时如何查看日志和定位原因? - AI开发平台ModelArts
#shell export DUMP_GE_GRAPH=2 # 1:表示dump图全量内容、 2:表示不dump权重数据的基础图、 3:表示只dump节点关系的精简图 export DUMP_GRAPH_LEVEL=2 # 1:表示dump图所有图、
-
部署上线 - AI开发平台ModelArts
分流:默认为100,输入值必须是0-100之间。 计算节点规格:请根据界面显示的列表,选择可用的规格,置灰的规格表示当前环境无法使用。如果公共资源池下规格为空数据,表示当前环境无公共资源。建议使用专属资源池,或者联系系统管理员创建公共资源池。 计算节点个数:默认为1,输入值必须是1-5之间的整数。
-
在线服务预测报错ModelArts.4503 - AI开发平台ModelArts
因APIG(API网关)限制,平台每次请求预测的时间不超过40秒。数据从平台发送到服务,服务预测推理,再将结果返回的时间不超过限制,可以成功返回预测结果。当服务预测的时间过长或者频繁预测导致服务接收不过来请求,即会出现该报错。 可以通过以下方式解决问题: 服务预测请求内容过大时,会因数据处理慢导致请求超时,优化预测代码,缩短预测时间。
-
计费样例 - AI开发平台ModelArts
此案例中的单价仅为示例,且计算出的费用为估算值。单价的变动和实际场景中计算出来的费用可能会有偏差。请以华为云官网发布的数据为准。 在使用ModelArts进行AI开发时,会将数据保存至OBS、EVS或SFS中,此时会产生单独的存储计费,具体费用以OBS、EVS和SFS的计费标准为准。 计费模式
-
MoXing Framework简介 - AI开发平台ModelArts
g Framework功能中主要包含操作OBS组件,即下文中描述的mox.file接口。 Moxing主要使用场景为提升从OBS读取和下载数据的易用性,适配对象为OBS对象桶,对于OBS并行文件系统部分接口可能存在问题,不建议使用。生产业务代码开发建议直接调用OBS Python
-
获取动态挂载OBS实例信息列表 - AI开发平台ModelArts
参数 参数类型 描述 current Integer 当前页数。 data Array of DataVolumesRes objects 数据。 pages Integer 总的页数。 size Integer 每一页的数量。 total Long 总的记录数量。 表3 DataVolumesRes
-
向量召回评估 - AI开发平台ModelArts
默认值 recall_type 是 召回类型,u2i或i2i。 u2i emb_dim 是 向量表的维度。 5 k 是 召回数量。 3 样例 数据样本 item_embeddings 真实关联序列 user_embeddings 配置流程 运行流程 参数设置 结果查看 父主题: 推荐
-
训练作业卡死检测 - AI开发平台ModelArts
似卡死。如需检测到卡死后发送通知(短信、邮件等)请在作业创建页面配置事件通知。 常见案例 训练作业卡死常见现象的案例和解决方案如下: 复制数据卡死 训练前卡死 训练中途卡死 训练最后一个epoch卡死 父主题: 训练进阶
-
发布自定义AI应用 - AI开发平台ModelArts
在“所在区”选择计算规格所在的区域。默认显示全部区域的计算规格。 选择计算规格不可用的资源会置灰。右侧“配置信息”区域会显示计算规格的详细数据,AI Gallery会基于资产和资源情况分析该任务是否支持设置“商品数量”,用户可以基于业务需要选择任务所需的资源卡数。 在“运行时长控制”选择是否指定运行时长。
-
(可选)Session鉴权 - AI开发平台ModelArts
式可参考如下认证方式,选择其中一种方式进行认证即可。 用户名密码认证模式: 支持OBS管理、数据管理、训练管理、模型管理、服务管理的鉴权。 用户AK-SK认证模式: 支持OBS管理、数据管理、训练管理、模型管理、服务管理的鉴权。 用户名密码认证模式 本地安装完成ModelArts
-
访问在线服务(Token认证) - AI开发平台ModelArts
回传此“uuid”用于跟踪请求,如无此需要可不填写meta。“data”包含了一个“req_data”的数组,可传入单条或多条请求数据,其中每个数据的参数由AI应用决定,比如本例中的“sepal_length”、“sepal_width”等。 参数填写完成,单击“send”发送请
-
训练网络迁移总结 - AI开发平台ModelArts
性能调优可以先将重点放在NPU不亲和的问题处理上,确保一些已知的性能问题和优化方法得到较好的应用。通用的训练任务调优、参数调优可以通过可观测数据来进行分析与优化,一般来说分段对比GPU的运行性能会有比较好的参考。算子级的调优某些情况下如果是明显的瓶颈或者性能攻坚阶段,考虑到门槛较高,可以联系华为工程师获得帮助。
-
订阅免费模型 - AI开发平台ModelArts
用过程中如果消耗了硬件资源进行部署,管理控制台将根据实际使用情况收取硬件资源的费用。 前提条件 注册并登录华为云,且创建好OBS桶用于存储数据和模型,详细操作请参见准备工作。 如果是订阅使用HiLens技能,则需要获取相关服务权限,详细操作请参见准备工作(华为HiLens)。 订阅免费模型
-
从EI云服务订阅模型(即将下线) - AI开发平台ModelArts
“计算节点规格” 请根据界面显示的列表,选择可用的规格,置灰的规格表示当前无法使用。 “环境变量” 设置环境变量,注入环境变量到容器实例。为确保您的数据安全,在环境变量中,请勿输入敏感信息,如明文密码。 默认设置外部接口协议为https,用户可以通过修改“MODELARTS_SSL_ENA
-
随机森林分类 - AI开发平台ModelArts
基尼不纯度是指将来自集合中的某种结果随机应用于集合中某一数据项的预期误差率,计算公式如下: 熵是信息论中的概念,用来表示集合的无序程度,熵越大表示集合越混乱,反之则表示集合越有序,计算公式如下: fi表示类别i样本数量占所有样本的比例,C表示数据类别数。 输入 参数 子参数 参数说明 inputs