检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Files按钮,打开文件上传窗口,选择左侧的进入GitHub开源仓库Clone界面。 图1 上传文件图标 图2 进入GitHub开源仓库Clone界面 输入有效的GitHub开源仓库地址后会展示该仓库下的文件及文件夹,说明用户输入了有效的仓库地址,同时给出该仓库下所有的分支供选择,选择完成后单击“克隆”开始Clone仓库。
运行训练代码,出现dead kernel,并导致实例崩溃 在Notebook实例中运行训练代码,如果数据量太大或者训练层数太多,亦或者其他原因,导致出现“内存不够”问题,最终导致该容器实例崩溃。 出现此问题后,系统将自动重启Notebook,来修复实例崩溃的问题。此时只是解决了崩溃问题,如果重新运行训练代码仍将失败。
形式。 图1 代码依赖修改前与修改后 将推理代码“modelarts-ascend/examples/AIGC/stable_diffusion/onnx_pipeline.py”也复制一份到该目录,名称改为“mslite_pipeline.py”,迁移后的推理代码中的pipeline需要修改为从复制的onnx
KooSearch企业搜索服务:基于在MaaS开源大模型部署的模型API,搭建企业专属方案、LLM驱动的语义搜索、多模态搜索增强。 盘古数字人大脑:基于在MaaS开源大模型部署的模型API,升级智能对话解决方案,含智能客服、数字人。 Dify:支持自部署的应用构建开源解决方案,用于Agent编排、自定义工作流。
业务代码问题 日志提示“pandas.errors.ParserError: Error tokenizing data. C error: Expected .* fields” 日志提示“max_pool2d_with_indices_out_cuda_frame failed
径参数。这四种输入搭建了用户代码和ModelArts Standard后台交互的桥梁。 代码目录路径 您需要在OBS桶中指定代码目录,并将训练代码、依赖安装包或者预生成模型等训练所需文件上传至该代码目录下。训练作业创建完成后,ModelArts会将代码目录及其子目录下载至后台容器中。
代码运行故障 Notebook运行代码报错,在'/tmp'中到不到文件 Notebook无法执行代码,如何处理? 运行训练代码,出现dead kernel,并导致实例崩溃 如何解决训练过程中出现的cudaCheckError错误? 如何处理使用opencv.imshow造成的内核崩溃?
系统容器异常退出 问题现象 在训练创建后出现“系统容器异常退出”的故障。 [ModelArts Service Log]2022-10-11 19:18:23,267 - file_io.py[1ine:748] - ERROR: stat:404 errorCode:NoSuchKey
txt中的Unidecode改为unidecode。 建议与总结 您可以在训练代码里添加一行: os.system('pip list') 然后运行训练作业,查看日志中是否有所需要的模块。 父主题: 业务代码问题
模型推理代码编写说明 本章节介绍了在ModelArts中模型推理代码编写的通用方法及说明,针对常用AI引擎的自定义脚本代码示例(包含推理代码示例),请参见自定义脚本代码示例。本文在编写说明下方提供了一个TensorFlow引擎的推理代码示例以及一个在推理脚本中自定义推理逻辑的示例。
下载代码目录失败 问题现象 训练作业运行时下载失败,出现如下报错,请参见图1: ERROR:modelarts-downloader.py: Get object key failed: 'Contents' 图1 获取内容失败 原因分析 在创建训练作业时指定的代码目录不存在导致训练失败。
训练作业失败,如何使用开发环境调试训练代码? 在创建训练作业前,推荐您先使用ModelArts开发环境调试训练代码,避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE(Pycharm或者VsCode)联接云上环境调试请参考使用本地IDE开发模型。
在ModelArts中智能标注完成后新加入数据需要重新训练吗? 智能标注完成后,需要对标注结果进行确认。 如果未确认标注结果,直接加入新数据,重新智能标注,会将待确认的数据和新加入的数据全部重新训练。 如果确认标注结果后,再加入新数据,只重新训练标注新的数据。 父主题: Standard数据准备
Gallery大模型开源社区,通过大模型为用户提供服务,普及大模型行业。AI Gallery提供了大量基于昇腾云底座适配的三方开源大模型,同步提供了可以快速体验模型的能力、极致的开发体验,助力开发者快速了解并学习大模型。 构建零门槛线上模型体验,零基础开发者开箱即用,初学者三行代码使用所有模型
自定义脚本代码示例 从OBS中导入模型文件创建模型时,模型文件包需符合ModelArts的模型包规范,推理代码和配置文件也需遵循ModelArts的要求。 本章节提供针对常用AI引擎的自定义脚本代码示例(包含推理代码示例)。模型推理代码编写的通用方法及说明请见模型推理代码编写说明。
Notebook无法执行代码,如何处理? 当Notebook出现无法执行时,您可以根据如下几种情况判断并处理。 如果只是Cell的执行过程卡死或执行时间过长,如图1中的第2个和第3个Cell,导致第4个Cell无法执行,但整个Notebook页面还有反应,其他Cell也还可以单击
Notebook运行代码报错,在'/tmp'中到不到文件 问题现象 使用Notebook运行代码,报错: FileNotFoundError: [Error 2] No usable temporary directory found in ['/tmp', '/var/tmp'
动压缩和部署模型,不需要代码编写和模型开发经验。只需三步,标注数据、自动训练、部署模型,即可完成模型构建。 端-边-云 端-边-云分别指端侧设备、智能边缘设备、公有云。 推理 指按某种策略由已知判断推出新判断的思维过程。人工智能领域下,由机器模拟人类智能,使用构建的神经网络完成推理过程。
/home/ma-user/modelarts/user-job-dir/code/train.py 使用Ascend自定义镜像训练时的训练代码适配规范 使用NPU资源创建训练作业时,系统会在训练容器里自动生成Ascend HCCL RANK_TABLE_FILE文件。当使用预置框架创建训练作业时,在训练过程中预置框架会自动解析Ascend
图3仅作为示例,请以实际控制台为准。 准备训练数据和代码文件,上传到JupyterLab中。具体参见上传本地文件至JupyterLab。 图4 文件上传按钮 在左侧导航双击打开上传的代码文件,在JupyterLab中编写代码文件,并运行调试。有关JupyterLab的使用具体参见JupyterLab常用功能介绍。