检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
什么算法,也不需要关注流水线是如何实现的。使用者只需要关注流水线生产出来的模型或者应用是否符合上线要求,如果不符合,是否需要调整数据和参数重新迭代。这种使用固化下来的流水线的状态,在Workflow中统称为运行态。 总的来说,Workflow有两种形态。 开发态:使用Workflow的Python
数据”,进入“我的数据”。 在“我的发布”页签,查看发布异常的数据集。 图5 查看发布异常的数据集 根据异常状态的错误提示修改源数据后,单击目标数据集右侧的“重试”重新发布数据集。 删除发布的数据集 当您需要删除发布在AI Gallery中的数据集时,可以执行如下步骤进行删除。 在AI Gallery页面的右上角选择“我的Gallery
查找diffusers源码包位置 找到具体位置后可以cp替换,替换前可对diffusers原始文件做备份,如果没有备份则可以通过删除diffusers包重新安装的方式获取原始文件。 执行bash stable_diffusers_train.sh。 bash stable_diffusers_train
后续推理服务启动出错。 unset EAGLE_TARIN_MODE 执行完成后,如果used_npus>1,则需要将训练生成data数据重新分配为8个文件夹,分配脚本为reassign_data_num.py。 python reassign_data_num.py --old_folder
flux/fintune/* ./ sh prepare.sh cd sd-scripts sh run.sh 需要注意的是,如果报错如下,则重新执行sh run.sh 即可。 图1 报错 步骤十:进入容器运行Lora训练 cd ${container_work_dir}/ rm -rf
横坐标:目标框的清晰度,值越大表示越清晰。 纵坐标:框数量(统计所有图片中的框)。 主要用于判断待检测物体是否存在模糊的情况。比如运动中的物体在采集中可能变得模糊,需要重新采集。 父主题: 数据准备与处理
LLaMA-VID基于DevServer适配PyTorch NPU推理指导(6.3.910) 方案概览 本方案介绍了在ModelArts Lite DevServer上使用昇腾计算资源Ascend Snt9B开展LLaMA-VID的推理过程。 约束限制 本方案目前仅适用于企业客户。
moondream2基于DevServer适配PyTorch NPU推理指导 方案概览 本文档从模型部署的环境配置、模型转换、模型推理等方面进行介绍moondream2模型在ModelArts DevServer上部署,支持NPU推理场景。 本方案目前仅适用于部分企业客户,完成本
传至OBS再通过OBS上传至Notebook,PyCharm只适合做小文件的同步上传。 调试时建议使用较小的数据集子集,方便数据同步与数据加载。 配置云端Python解释器。 修改Parameters参数,并选择云端Python解释器。 --net_name=resnet50 -
模板的相关配置项,使用模板导入模型(即model_type为Template)时必选 否 Template dynamic_load_mode 动态加载模式,当前仅支持"Single" 否 str、Placeholder prebuild 模型是否提前构建,默认为False 否 bool、Placeholder
如果您需要使用自己开发的算法,可以选择使用ModelArts预置框架。ModelArts支持了大多数主流的AI引擎,详细请参见预置训练引擎。这些预置引擎预加载了一些额外的python包,例如numpy等;也支持您通过在代码目录中使用“requirements.txt”文件安装依赖包。使用预置框架
针对调试中遇到的错误,可以直接在容器实例里修改,修改结果可以通过commit命令持久化。 建议把调试过程中的修改点通过Dockerfile固化到容器构建正式流程,并重新测试。 父主题: 单机单卡
预置训练引擎实现算法构建。这种方式在创建算法时被称为“使用自定义脚本”模式。 ModelArts支持了大多数主流的AI引擎,这些预置引擎预加载了一些额外的python包,例如numpy等;也支持您通过在代码目录中使用“requirements.txt”文件安装依赖包。 预置训练引擎
CogVideoX1.5 5b模型基于DevServer适配PyTorch NPU全量训练指导(6.3.912) 本文档主要介绍如何在ModelArts的DevServer环境中,使用NPU卡对CogVideoX模型进行全量微调。本文档中提供的脚本,是基于原生CogVideoX的
ORIGINAL_HF_WEIGHT /home/ma-user/work/model/llama-2-13b-chat-hf 必须修改。加载tokenizer与Hugging Face权重时,对应的存放地址。请根据实际规划修改。 SHELL_FOLDER $(dirname $(readlink
必须修改。训练时指定的输入数据路径。请根据实际规划修改。 ORIGINAL_HF_WEIGHT /home/ma-user/ws/model/llama2-70B 必须修改。加载tokenizer与Hugging Face权重时,对应的存放地址。请根据实际规划修改。 SHELL_FOLDER $(dirname $(readlink
必须修改。训练时指定的输入数据路径。请根据实际规划修改。 ORIGINAL_HF_WEIGHT /home/ma-user/ws/model/llama2-70B 必须修改。加载tokenizer与Hugging Face权重时,对应的存放地址。请根据实际规划修改。 SHELL_FOLDER $(dirname $(readlink
labels Array of Label objects 数据集标签列表。 loading_sample_count Integer 正在加载的样本数量。 managed Boolean 是否是托管数据集。可选值如下: true:托管数据集 false:非托管数据集 next_version_num
ORIGINAL_HF_WEIGHT /home/ma-user/work/model/llama-2-13b-chat-hf 必须修改。加载tokenizer与Hugging Face权重时,对应的存放地址。请根据实际规划修改。 SHELL_FOLDER $(dirname $(readlink
必须修改。训练时指定的输入数据路径。请根据实际规划修改。 ORIGINAL_HF_WEIGHT /home/ma-user/ws/model/llama2-70B 必须修改。加载tokenizer与Hugging Face权重时,对应的存放地址。请根据实际规划修改。 SHELL_FOLDER $(dirname $(readlink