检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
停止 continue 继续 data_requirements 否 Array of DataRequirement objects 工作流需要的数据。 parameters 否 Array of WorkflowParameter objects 参数。 表3 DataRequirement
理、代码管理等动作。 本章节介绍如何使用VS Code插件创建训练作业并调试。 使用VS Code插件创建训练作业并调试功能目前是白名单,需要提交工单申请开通。 准备工作 创建OBS桶,桶名称示例:“xxx-project”,在OBS桶里创建“data”文件夹。(建议下载OBS Browser+进行相关操作)。
是否必选 参数类型 描述 create_version 否 Boolean 创建任务时是否同步创建一个任务版本。该参数仅创建数据处理任务时需要设为“true”,其他类型任务均设为“false”或不设。可选值如下: true:创建任务时同步创建一个任务版本 false:创建任务时不创建任务版本(默认值)
tch等功能,能够提高GPU的使用率,改善推理服务的性能。 当从第三方推理框架迁移到使用ModelArts推理的AI应用管理和服务管理时,需要对原生第三方推理框架镜像的构建方式做一定的改造,以使用ModelArts推理平台的模型版本管理能力和动态加载模型的部署能力。本案例将指导用
object 自定义资源规格配置,仅当specification配置为custom时返回。 envs Map<String,String> 运行模型需要的环境变量键值对。 specification String 资源规格,例如:modelarts.vm.cpu.2u/modelarts.vm
String 算法的代码目录。如:“/usr/app/”。应与boot_file一同出现。 boot_file String 算法的代码启动文件,需要在代码目录下。如:“/usr/app/boot.py”。应与code_dir一同出现。 command String 自定义镜像算法的容器启动命令。
订。 单击某个资源池操作列右侧的“扩缩容”,进入“专属资源池扩缩容”页面,对资源池进行扩缩容操作。对于包周期资源池,此按钮为“扩容”,如果需要缩容,请进入到包周期资源池详情页对节点进行退订操作。 在“专属资源池扩缩容”页面,可通过增减“目标总实例数”实现扩缩容,请用户根据本身业务
必须修改。加载tokenizer与Hugging Face权重时,对应的存放地址。请根据实际规划修改。 对于ChatGLMv3-6B和Qwen系列模型,还需要手动修改tokenizer文件,具体请参见训练tokenizer文件说明。 Step3 启动训练脚本 修改超参值后,再启动训练脚本。Llama2-70b建议为4机32卡训练。
DataTypeEnum.IMAGE, # 数据集对应的数据类型, 示例为图像 ) ) # 注意dataset_name这个参数配置的数据集名称需要用户自行确认在该账号下未被他人使用,否则会导致期望的数据集未被创建,而后续节点错误使用了他人创建的数据集 workflow = wf.Workflow(
Cluster”,在“弹性集群”页面,选择“Lite资源池”页签,查看资源池列表。 单击某个资源池操作列的“扩缩容”对资源池进行扩缩容。对于为包周期资源池,此按钮为“扩容”,若需要缩容,请进入到包周期资源池详情页对节点进行退订操作。 在“专属资源池扩缩容”页面,可通过增减“目标总实例数”实现扩缩容,请用户根据本身业务
必须修改。加载tokenizer与Hugging Face权重时,对应的存放地址。请根据实际规划修改。 对于ChatGLMv3-6B和Qwen系列模型,还需要手动修改tokenizer文件,具体请参见训练tokenizer文件说明。 Step3 启动训练脚本 修改超参值后,再启动训练脚本。其中
通过样本属性搜索。 parent_sample_id String 父样本ID。 sample_dir String 根据样本所在目录搜索(目录需要以/结尾),只搜索指定目录下的样本,不支持目录递归搜索。 sample_name String 根据样本名称搜索(含后缀名)。 sample_time
景如下: 对于数据标注这种操作,可以在标注完成后自动帮助用户发布新的数据集版本,结合as_input的能力提供给后续节点使用。 当模型训练需要更新数据时,可以使用数据集导入节点先导入新的数据,然后再通过该节点发布新的版本供后续节点使用。 属性总览 您可以使用ReleaseData
x的缓存清理功能,是一种应用性能调优手段,在大部分场景下可以提升应用性能。但是清除缓存也可能会导致容器启动失败或系统性能暂时下降(因为系统需要重新从磁盘加载数据到内存中)。关闭表示不启用缓存清理功能。 大页内存:开启表示配置使用透明大页功能。大页内存是一种内存管理机制,可以通过增
ing Face权重时,对应的存放地址。请根据实际规划修改。 对于ChatGLMv3-6B、ChatGLMv4-9B和Qwen系列模型,还需要手动修改tokenizer文件,具体请参见训练tokenizer文件说明。 由于模型中LoRA微调训练存在已知的精度问题,因此不支持TP(tensor
ing Face权重时,对应的存放地址。请根据实际规划修改。 对于ChatGLMv3-6B、ChatGLMv4-9B和Qwen系列模型,还需要手动修改tokenizer文件,具体请参见训练tokenizer文件说明。 步骤3 启动训练脚本 修改超参值后,再启动训练脚本。其中 Llama2-70b建议为4机32卡训练。
执行代码存放的OBS地址,默认值为空,名称固定为“customize_service.py”。 推理代码文件需存放在模型“model”目录。该字段不需要填,系统也能自动识别出model目录下的推理代码。 否 str dependencies 推理代码及模型需安装的包,默认为空。从配置文件读取。
如果type是DATASET,source为dataset_id; 如果type是CUSTOM且是资源租户调用,source为真实用户的project_id, 否则不需要这个字段 source_type 否 String 指定查询的数据源类型,不传默认是查询所有的数据源。可选值如下: OBS:数据来源于OBS
66 MiniCPM-v2 √ x x x x https://huggingface.co/HwwwH/MiniCPM-V-2 注意:需要修改源文件site-packages/timm/layers/pos_embed.py,在第46行上面新增一行代码,如下: posemb =
true:检测数据集中正在运行(包括初始化)的任务 false:不检测数据集中正在运行的任务(默认值) running_task_type 否 Integer 指定需要检测的正在运行任务(包括初始化)的类型。可选值如下: 0:自动标注 1:预标注 2:导出任务 3:切换版本 4:导出manifest 5:导入manifest