检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Qwen-VL是规模视觉语言模型,可以以图像、文本、检测框作为输入,并以文本和检测框作为输出。具有强大的性能、多语言对话、多图交错对话、支持中文开放域定位、细粒度识别和理解等特点。 本文档主要介绍如何利用训练框架PyTorch_npu + 华为自研Ascend Snt9B硬件,完成Qwen-VL推理。 资源规格要求
Qwen-VL是规模视觉语言模型,可以以图像、文本、检测框作为输入,并以文本和检测框作为输出。具有强大的性能、多语言对话、多图交错对话、支持中文开放域定位、细粒度识别和理解等特点。 本文档主要介绍如何利用训练框架PyTorch_npu + 华为自研Ascend Snt9B硬件,完成Qwen-VL Finetune训练。
Diffusion(潜在扩散)模型,应用于文生图场景。对于输入的文字,它将会通过一个文本编码器将其转换为文本嵌入,然后和一个随机高斯噪声,一起输入到U-Net网络中进行不断去噪。在经过多次迭代后,最终模型将输出和文字相关的图像。 SD1.5 Finetune是指在已经训练好的SD1
pip介绍及常用命令 pip常用命令如下: pip --help#获取帮助 pip install SomePackage==XXXX #指定版本安装 pip install SomePackage #最新版本安装 pip uninstall SomePackage #卸载软件版本
VSCode远程连接时卡顿,或Python调试插件无法使用如何处理? 问题现象 VSCode远程连接Notebook时,单击“VS Code接入”跳转至连接界面时一直卡顿,或Python调试插件无法使用。 图1 Python调试插件错误 原因分析 该问题通常由VS Code安装了第三方中文插件引起。
式。 请参考创建模型的自定义镜像规范和从0-1制作自定义镜像并创建模型,制作自定义镜像。 推荐在开发环境Notebook中调试模型包,制作自定义镜像。请参考在开发环境中构建并调试推理镜像和无需构建直接在开发环境中调试并保存镜像用于推理。 更多的自定义脚本代码示例,请参考自定义脚本代码示例。
odelArts会自动识别导致作业失败的原因,在训练日志界面上给出提示。提示包括三部分:失败的可能原因、推荐的解决方案以及对应的日志(底色标红部分)。 图1 训练故障识别 ModelArts Standard会对部分常见训练错误给出分析建议,目前还不能识别所有错误,提供的失败可能
04-x86_64(推荐) python2.7、python3.6、python3.7的运行环境搭载的PyTorch版本为1.0。 python2.7、python3.6、python3.7、pytorch1.4-python3.7、pytorch1.5-python3.7,表示该模型可同时在CPU或GPU运行。
下载安装资源并构建一个新的镜像。 若用户的机器或资源池无法连通网络,并无法git clone下载代码、安装python依赖包的情况下,用户则需要找到已联网的机器(本章节以Linux系统机器为例)提前下载资源,以实现离线安装。用户可遵循以下步骤: 步骤一:资源下载 Python依赖包下载:进入
ADME文件查看当前环境内置的Python虚拟环境。 cat /home/ma-user/README 执行source命令可以切换到具体的Python环境中。 执行which python查看python路径并复制出来,以备后续配置云上Python Interpreter使用。
从0-1制作自定义镜像并创建AI应用 针对ModelArts目前不支持的AI引擎,您可以针对该引擎构建自定义镜像,并将镜像导入ModelArts,创建为AI应用。本文详细介绍如何使用自定义镜像完成AI应用的创建,并部署成在线服务。 操作流程如下: 本地构建镜像:在本地制作自定义镜
bandwidth contention 通信维度,识别计算和通信相互掩盖,可能会抢占通信带宽 communication - retransmission 通信维度,识别通信重传问题,单次重传耗时4秒以上 memory 内存维度,识别异常内存算子 dataloader 数据加载维度
file与本地接口的对应关系和切换 API对应关系 Python:指本地使用Python对本地文件的操作接口。支持一键切换为对应的MoXing文件操作接口(mox.file)。 mox.file:指MoXing框架中用于文件操作的接口,其与python接口一一对应关系。 tf.gfile:指
attribute 'concat'。 原因分析 出现该问题的可能原因如下: 对应python包使用错误,该python包确实没有对应的变量或者方法 第三方pip源中的python包版本更新,导致在训练作业中安装的python包的版本可能也会发生变化。如训练作业之前无此问题,后面一直有此问题,则考虑是此原因。
Standard自定义算法实现手写数字识别 PyTorch 自定义算法 手写数字识别 使用用户自己的算法,训练得到手写数字识别模型,并部署后进行预测。 从0制作自定义镜像并用于训练(PyTorch+CPU/GPU) PyTorch 镜像制作 自定义镜像训练 - 此案例介绍如何从0到1制作镜像,并使用该镜像在
无法连通网络,并无法git clone下载代码、安装python依赖包的情况下,用户则需要找到已联网的机器(本章节以Linux系统机器为例)提前下载资源,以实现离线安装。用户可遵循以下步骤操作。 步骤一:资源下载 Python依赖包下载:进入 scripts/install.sh
system cannot find the file specified: 'c:\python39\Scripts\ephemeral-port-reserve.exe' -> 'c:\python39\Scripts\ephemeral-port-reserve.exe.deleteme
获取到本地展示等,用户只需要专注于本地的代码开发即可。 本章节介绍如何使用PyCharm ToolKit插件创建训练作业并调试。 前提条件 Step1 下载并安装PyCharm ToolKit。 在本地PyCharm中已有训练代码工程。 已在OBS中创建桶和文件夹,用于存放数据集和训练输出模型。
时发现,就会导致无法及时释放资源,从而造成极大的资源浪费。为了节省训练资源成本,提高使用体验,ModelArts提供了卡死检测功能,能自动识别作业是否卡死,并在日志详情界面上展示,同时能配置通知及时提醒用户作业卡死。 检测规则 卡死检测主要是通过监控作业进程的状态和资源利用率来判
rts/authoring/notebook-conda/bin/pip”进行安装,不要使用默认的anaconda(kernel依赖的python环境)的pip进行安装。 使用命令jupyter labextension list --app-dir=/home/ma-user/