检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持分析算子的profiling 环境准备 本工具支持x86和ARM的系统环境,使用前需要安装以下软件。 表2 安装软件及步骤 软件 安装步骤 mindspore-lite 安装版本:2.2.10 下载地址:https://www.mindspore.cn/lite/docs/zh-CN/r2
"INFO",查看NCCL DEBUG信息。 问题现象1 日志中还未出现NCCL DEBUG信息时已卡死。 解决方案1 检查代码,检查是否有参数中未传入“master_ip”和“rank”参数等问题。 问题现象2 分布式训练的日志中,发现有的节点含有GDR信息,而有的节点无GDR信息,导致卡死的原因可能为GDR。
实践活动。 查找实践活动 进入AI Gallery首页,单击“实践”,在下拉框中单击“实践 >”,进入实践首页。 在实践页面,有“进行中”、“即将开始”和“已结束”三种状态的实践活动筛选方式。 图1 查找实践活动 单击右上方的“我的实践”可以跳转到个人中心(“我的Gallery >
ModelArts提供了AI全流程开发的套餐包,面向有AI基础的开发者,提供机器学习和深度学习的算法开发及部署全功能,包含数据处理、模型开发、模型训练、模型管理和部署上线流程。 约束限制 套餐包在购买和使用时的限制如下: 套餐包和购买时选定的区域绑定,套餐包只能使用于购买时选定的区
一管理,同时支持将模型快速部署上线为服务。 约束与限制 针对使用订阅算法的训练作业,无需推理代码和配置文件,其生成的模型可直接导入ModelArts。 使用容器化部署,导入的元模型有大小限制,详情请参见导入AI应用对于镜像大小限制。 前提条件 请确保训练作业已运行成功,且模型已存
en。 APIG.1009 AppKey和AppSecret不匹配 当服务预测使用的AppKey和AppSecret不匹配时,报错“APIG.1009”:“AppKey or AppSecret is invalid”。 查询AppKey和AppSecret,使用APP认证访问在
创建AI应用失败,如何定位和处理问题? 问题定位和处理 创建AI应用失败有两种场景:创建AI应用时直接报错或者是调用API报错和创建AI应用任务下发成功,但最终AI应用创建失败。 创建AI应用时直接报错或者是调用API报错。一般都是输入参数不合法导致的。您可以根据提示信息进行排查修改即可。
开发Workflow的核心概念介绍 Workflow Workflow是一个有向无环图(Directed Acyclic Graph,DAG),由节点和节点之间的关系描述组成。 图1 Workflow介绍 节点与节点之间的依赖关系由单箭头的线段来表示,依赖关系决定了节点的执行顺序
ModelArts在线服务更新 对于已部署的推理服务,ModelArts支持通过更换AI应用的版本号,实现服务升级。 推理服务有三种升级模式:全量升级、滚动升级(扩实例)和滚动升级(缩实例)。了解三种升级模式的流程,请参见图1。 全量升级 需要额外的双倍的资源,先全量创建新版本实例,然后再下线旧版本实例。
对某些特定的人们来说是有价值、有意义的数据。当数据采集和接入之后,数据一般是不能直接满足训练要求的。为了保障数据质量,以免对后续操作(如数据标注、模型训练等)带来负面影响,开发过程通常需要进行数据处理。 常见的数据处理类型有以下四种: 数据校验:通常数据采集后需要进行校验,保证数据合法。
训练作业的启动文件如何获取训练作业中的参数? 训练作业参数有两种来源,包括后台自动生成的参数和用户手动输入的参数。具体获取方式如下: 创建训练作业时,“输入”支持配置训练的输入参数名称(一般设置为“data_url”),以及输入数据的存储位置,“输出”支持配置训练的输出参数名称(
标注作业对应的“实体标签”和“关系标签”已定义好。“关系标签”需设置对应的“起始实体”和“终止实体”。“关系标签”只能添加至其设置好的“起始实体”和“终止实体”之间。 支持设置多个“实体标签”和“关系标签”。一个文本数据中,也可以标注多个“实体标签”和“关系标签” 创建数据集时定义的“实体标签”,不支持删除。
由于模型训练过程需要大量有标签的音频数据,因此在模型训练之前需对没有标签的音频添加标签。通过ModelArts您可对音频进行一键式批量添加标签,快速完成对音频的标注操作,也可以对已标注音频修改或删除标签进行重新标注。音频标注涉及到的标注标签和声音内容只支持中文和英文,不支持小语种。
info 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户token。 响应参数
调用API提交训练作业后,能否绘制作业的资源占用率曲线? 如何使用API接口获取订阅算法的订阅id和版本id? 使用SDK如何查看旧版专属资源池列表? 调用API接口创建训练作业和部署服务时,如何填写资源池的参数?
配置ToolKit 二、未配置hosts文件或者hosts文件信息配置不正确 在本地PC的hosts文件中配置域名和IP地址的对应关系。 三、网络代理设置 如果用户使用的网络有代理设置要求,请检查代理配置是否正确。也可以使用手机热点网络连接进行测试排查。 检查代理配置是否正确。 图2 PyCharm网络代理设置
行 循环处理其中的单轮对话 在单轮对话中 对user和assistant的文本进行清洗 分别encode处理后的文本,获得对应的token序列,user_ids和assistant_ids input_ids是user_ids和assistant_ids的拼接 labels与in
行 循环处理其中的单轮对话 在单轮对话中 对user和assistant的文本进行清洗 分别encode处理后的文本,获得对应的token序列,user_ids和assistant_ids input_ids是user_ids和assistant_ids的拼接 labels与in
令支持的文件名和版本。 import pip print(pip.pep425tags.get_supported()) 获取到支持的文件名和版本如下: [('cp36', 'cp36m', 'manylinux1_x86_64'), ('cp36', 'cp36m', 'linux_x86_64')
一般在镜像里不包含训练所用的数据和代码,所以在启动镜像以后需要手工把需要的文件复制进去。建议数据、代码和中间数据都放到"/cache"目录,防止正式运行时磁盘占满。建议linux服务器申请的时候,有足够大的内存(8G以上)以及足够大的硬盘(100G以上)。 docker和linux的文件交互命令如下: