检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
景如下： 对于数据标注这种操作，可以在标注完成后自动帮助用户发布新的数据集版本，结合as_input的能力提供给后续节点使用。 当模型训练需要更新数据时，可以使用数据集导入节点先导入新的数据，然后再通过该节点发布新的版本供后续节点使用。 属性总览 您可以使用ReleaseData
如果type是DATASET，source为dataset_id； 如果type是CUSTOM且是资源租户调用，source为真实用户的project_id, 否则不需要这个字段 source_type 否 String 指定查询的数据源类型，不传默认是查询所有的数据源。可选值如下： OBS：数据来源于OBS
订。 单击某个资源池操作列右侧的“扩缩容”，进入“专属资源池扩缩容”页面，对资源池进行扩缩容操作。对于包周期资源池，此按钮为“扩容”，如果需要缩容，请进入到包周期资源池详情页对节点进行退订操作。 在“专属资源池扩缩容”页面，可通过增减“目标总实例数”实现扩缩容，请用户根据本身业务
8192 设置模型能够处理的最大序列长度。 SN 1200 必须修改。指定的输入数据集中数据的总数量。更换数据集时，需要修改。 EPOCH 5 表示训练轮次，根据实际需要修改。一个Epoch是将所有训练样本训练一次的过程。 TRAIN_ITERS SN / GBS * EPOCH 非
x的缓存清理功能，是一种应用性能调优手段，在大部分场景下可以提升应用性能。但是清除缓存也可能会导致容器启动失败或系统性能暂时下降（因为系统需要重新从磁盘加载数据到内存中）。关闭表示不启用缓存清理功能。 大页内存：开启表示配置使用透明大页功能。大页内存是一种内存管理机制，可以通过增
执行代码存放的OBS地址，默认值为空，名称固定为“customize_service.py”。 推理代码文件需存放在模型“model”目录。该字段不需要填，系统也能自动识别出model目录下的推理代码。 否 str dependencies 推理代码及模型需安装的包，默认为空。从配置文件读取。
66 MiniCPM-v2 √ x x x x https://huggingface.co/HwwwH/MiniCPM-V-2 注意：需要修改源文件site-packages/timm/layers/pos_embed.py，在第46行上面新增一行代码，如下： posemb =
模型训练存储加速 针对AI训练场景中大模型Checkpoint保存和加载带来的I/O挑战，华为云提供了基于对象存储服务OBS+高性能弹性文件服务SFS Turbo的AI云存储解决方案，如下图所示。 SFS Turbo HPC型支持和OBS数据联动，您可以通过SFS Turbo H
String 算法的代码目录。如：“/usr/app/”。应与boot_file一同出现。 boot_file String 算法的代码启动文件，需要在代码目录下。如：“/usr/app/boot.py”。应与code_dir一同出现。 command String 自定义镜像算法的容器启动命令。
ing Face权重时，对应的存放地址。请根据实际规划修改。 对于ChatGLMv3-6B、ChatGLMv4-9B和Qwen系列模型，还需要手动修改tokenizer文件，具体请参见训练tokenizer文件说明。 由于模型中LoRA微调训练存在已知的精度问题，因此不支持TP(tensor
WorkflowParameter objects 参数。 data_requirements 否 Array of DataRequirement objects 需要的数据。 表3 ExecutionActionPolicy 参数 是否必选 参数类型 描述 rerun_steps 否 Array of strings
如果type是DATASET，source为数据集ID。 如果type是CUSTOM且是资源租户调用，source为真实用户的project_id, 否则不需要这个字段。 type 否 String 数据源类型。可选值如下： OBS：数据来源于OBS TASK：数据处理任务 DATASET：数据集
69 MiniCPM-v2 √ x x x x https://huggingface.co/HwwwH/MiniCPM-V-2 注意：需要修改源文件site-packages/timm/layers/pos_embed.py，在第46行上面新增一行代码，如下： posemb =
型和参数。 创建数据分发Sampler，使每个进程加载一个mini batch中不同部分的数据。 网络中相邻参数分桶，一般为神经网络模型中需要进行参数更新的每一层网络。 每个进程前向传播并各自计算梯度。 模型某一层的参数得到梯度后会马上进行通讯并进行梯度平均。 各GPU更新模型参数。
txt", "w") as f: df.to_csv(f) 利用文件对象读取图片 使用opencv打开一张图片时，无法传入一个OBS路径，需要利用文件对象读取，考虑以下代码是无法读取到该图片的。 1 2 import cv2 cv2.imread('obs://bucket_name/xxx
用户AK-SK认证模式 本模式支持OBS管理、训练管理、模型管理、服务管理模块的鉴权。 示例代码 1 2 from modelarts.session import Session session = Session(access_key='***',secret_key='***'
使用reload ckpt恢复中断的训练 在容错机制下，如果因为硬件问题导致训练作业重启，用户可以在代码中读取预训练模型，恢复至重启前的训练状态。用户需要在代码里加上reload ckpt的代码，使能读取训练中断前保存的预训练模型。具体请参见断点续训练。 父主题： 模型训练高可靠性
如果type是DATASET，source为数据集ID。 如果type是CUSTOM且是资源租户调用，source为真实用户的project_id, 否则不需要这个字段。 type String 数据源类型。可选值如下： OBS：数据来源于OBS TASK：数据处理任务 DATASET：数据集 CUSTOM：资源租户调用
String 工作空间ID。 data_requirements Array of DataRequirement objects Workflow需要的数据。 data Array of Data objects Workflow包含的数据。 parameters Array of WorkflowParameter
如果type是DATASET，source为数据集ID。 如果type是CUSTOM且是资源租户调用，source为真实用户的project_id, 否则不需要这个字段。 type String 数据源类型。可选值如下： OBS：数据来源于OBS TASK：数据处理任务 DATASET：数据集 CUSTOM：资源租户调用
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
