检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过OBS创建AI应用时,构建日志中提示pip下载包失败 问题现象 通过OBS创建AI应用构建失败,查看构建日志,提示pip下载包失败。如下载numpy 1.16版本失败。 原因分析 一般下载包失败时,可能有如下几个原因: pip源中不存在该包,当前默认pip源为pypi.org中的包,请在pypi
订阅或购买主要是获取AI资产的使用配额和使用权,支持在配额定义的约束下,有限地使用AI资产。 使用AI资产时,可能需要消耗硬件资源,硬件资源费用将根据实际使用情况,由华为云ModelArts等管理控制台向使用方收取。 已发布的AI资产,如果不需要在资产列表中展示该资产,可以将资产下架。下架后,已发布资产仅发布
通过ModelArts预置算法训练得到的模型是保存在OBS桶里的,模型支持下载到本地。 在训练作业列表找到需要下载模型的训练作业,单击名称进入详情页,获取训练输出路径。 图1 获取训练输出位置 单击“输出路径”,跳转至OBS对象路径,下载训练得到的模型。 在本地环境进行离线部署。
设置输入与输出。需根据实际数据情况选择“数据集”或“OBS目录”。设置为“数据集”时,需填写“数据集名称”和“数据集版本”;设置为“OBS目录”时,需填写正确的OBS路径。 图3 输入输出设置-数据集 图4 输入输出设置-OBS目录 确认参数填写无误后,单击“创建”,完成数据处理任务的创建。
上传数据至OBS(首次使用时需要) 前提条件 已经在OBS上创建好普通OBS桶,请参见创建普通OBS桶。 已经安装obsutil,请参考下载和安装obsutil。 参考线下容器镜像构建及调试章节,构建容器镜像并调试,镜像构建及调试与单机单卡相同。 上传镜像,参考单机单卡训练的上传镜像章节操作。
可以判断为模型服务返回的结果不符合预期。 建议与总结 鉴于模型服务有从对象存储服务(OBS)中导入,从容器镜像中导入,从AI Gallery中获取等多种途径,对于上述不同模型服务的来源所产生的常见问题及处理方法建议如下: 从容器镜像中导入:由于此种方式镜像为用户完全自定义的镜像,
oat’object is not subscriptable”。 原因分析 根据报错日志分析,是因为一个float数据被当做对象下标访问了。 处理方法 将模型推理代码中的x[0][i]修改为x[i],重新部署服务进行预测。 父主题: 服务预测
前提条件 在“我的模型”页面存在已创建成功的模型。 已准备好训练数据集,并存放于OBS桶中,OBS桶必须和MaaS服务在同一个Region下。 当需要永久保存日志时,需要准备好存放日志的OBS路径,OBS桶必须和MaaS服务在同一个Region下。 创建调优任务 登录ModelArts管理控制台。
对象存储服务OBS OBS Administrator 云审计服务CTS CTS Administrator AI开发平台ModelArts ModelArts CommonOperations ModelArts Dependency Access AI应用管理 对象存储服务OBS OBS
通过OBS导入AI应用时,如何编写打印日志代码才能在ModelArts日志查询界面看到日志? 问题现象 用户通过OBS导入AI应用时,选择使用基础镜像,用户自己编写了部分推理代码实现自己的推理逻辑,出现故障后希望通过故障日志排查定位故障原因,但是通过logger打印日志无法在在线服务的日志中查看到部分内容。
根据部署在线服务生成的服务对象删除服务。 根据查询服务对象列表返回的服务对象删除服务。 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式1:根据部署在线服务生成的服务对象删除服务 1 2 3
中提示下载obs文件失败(Get object size from OBS failed!)。 图1 下载obs文件失败 用户创建AI应用时,事件提示:复制模型文件失败,请检查OBS权限是否正常(Failed to copy model file due to obs exception
Settings”,配置用户登录信息。 图6 登录插件 输入如下用户登录信息,单击“登录”。 Name:自定义用户名,仅用于VS Code页面展示,不与任何华为云用户关联。 AK、SK:在“账号中心 > 我的凭证 > 访问密钥”中创建访问密钥,获取AK、SK(参考链接)。 选择站点:此处的站点必须和
ModelArts平台是否支持多模型导入 ModelArts平台从对象存储服务(OBS)中导入模型包适用于单模型场景。如果有多模型复合场景,推荐使用自定义镜像方式,通过从容器镜像(SWR)中选择元模型的方式创建AI应用部署服务。制作自定义镜像请参考从0-1制作自定义镜像并创建AI应用。
量不要出现误标情况。 音频标注涉及到的标注标签和声音内容只支持中文和英文,不支持小语种。 数据上传至OBS 在本文档中,采用通过OBS管理控制台将数据上传至OBS桶。 上传OBS的文件规范: 如不需要提前上传训练数据,请创建一个空文件夹用于存放工程后期生成的文件。如:“/bucketName/data-cat”。
练后台容器中。 例如:OBS路径“obs://obs-bucket/training-test/demo-code”作为代码目录,OBS路径下的内容会被自动下载至训练容器的“${MA_JOB_DIR}/demo-code”目录中,demo-code为OBS存放代码路径的最后一级目录,用户可以根据实际修改。
删除模型 删除模型对象。 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式1:根据导入模型或模型调试生成的模型对象进行模型对象删除 1 2 3 4 5 6 from modelarts
可选项,输入自定义镜像swr路径地址(使用的自定义镜像和预置的训练镜像引擎一致) Data OBS Path OBS上的数据集路径(需要提前把数据上传到OBS中) Training OBS Path OBS路径(该路径必须是存在的),用于保存代码和训练模型及日志的输出 Running Parameters
方式二:根据创建训练作业生成的训练作业对象删除。 job_instance.delete_job() 参数说明 表1 delete_job_by_id请求参数说明 参数 是否必选 参数类型 描述 session 是 Object 会话对象,初始化方法请参考Session鉴权。 job_id
及相应的标注任务名称 表6 OBSPath 属性 描述 是否必填 数据类型 obs_path OBS路径 是 str,Storage 示例: example = OBSPath(obs_path = "**") # 通过对象存储服务,获取已存在的OBS路径值 表7 ServiceData