检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
00010.bin ├── pytorch_model.bin.index.json ├── qwen_generation_utils.py ├── qwen.tiktoken ├── README.md ├── tokenization_qwen.py # 需要修改代码 ├── SimSun.ttf
在“授权”页面,在“授权对象类型”下面选择“所有用户”,选择“新增委托 ”,为该主用户下面的所有子账号配置委托访问授权。 普通用户:普通用户的委托权限包括了用户使用ModelArts完成AI开发的所有必要功能权限,如数据的访问、训练任务的创建和管理等。一般用户选择此项即可。
表1 开启multi-step调度参数配置 服务启动方式 配置项 取值类型 配置说明 offline num_scheduler_steps int 连续运行模型的步数。
“数据切分” 仅“图像分类”、“物体检测”、“文本分类”和“声音分类”类型数据集支持进行数据切分功能。 默认不启用。启用后,需设置对应的训练验证比例。 输入“训练集比例”,数值只能是0~1区间内的数。设置好“训练集比例”后,“验证集比例”自动填充。
团队标注功能当前仅支持“图像分类”、“物体检测”、“文本分类”、“命名实体”、“文本三元组”、“语音分割”类型的数据集。 针对启用团队标注功能的数据标注任务,支持创建团队标注任务,将标注任务指派给不同的团队,由多人完成标注任务。
MODEL_TYPE:模型类型。当前可选模型类型包括:llava、llava-next、minicpm、qwen-vl、internvl2、qwen2-vl、llava-onevision。 OUTPUT_NAME:输出结果文件名称, 默认llava。
“授权对象” “授权对象类型”选择“所有用户”时不涉及此参数。 IAM子用户:选择指定的IAM子用户,给指定的IAM子用户配置委托授权。 图1 选择IAM子用户 联邦用户:输入联邦用户的用户名或用户ID。 图2 选择联邦用户 委托用户:选择委托名称。
INTERNAL:创建者、主账号、指定IAM子账号可访问当授权类型为INTERNAL时需要指定可访问的子账号的账号名,可选择多个。 每个账号每个IAM项目都会分配1个默认工作空间,默认工作空间的访问控制为PUBLIC。
--dtype:模型推理的数据类型。支持FP16和BF16数据类型推理。float16表示FP16,bfloat16表示BF16。 如果不指定,则根据输入数据自动匹配数据类型。使用不同的dtype会影响模型精度。
图1 自动学习操作流程 图2 Workflow运行流程 项目类型介绍 图像分类 图像分类项目,是对图像进行分类。需要添加图片并对图像进行分类标注,完成图片标注后开始模型训练,即可快速生成图像分类模型。可应用于商品的自动分类、运输车辆种类识别和残次品的自动分类等。
当前社区vllm只支持float8的kv_cache量化,抽取脚本中dtype类型是"float8_e4m3fn"。dtype类型不影响int8的scale系数的抽取和加载。 启动kv-cache-int8-per-tensor量化服务。
数据类型:系统会根据您的数据集,匹配到相应的数据类型。例如本案例使用的数据集,系统匹配为“图片”类型。 数据集输出位置:用来存放输出的数据标注的相关信息,或版本发布生成的Manifest文件等。
设置场景类别。场景类别当前支持“图像分类”和“物体检测”。 设置数据处理类型为“数据增强”,填写相应算子的设置参数,算子的详细参数参见数据扩增算子说明、数据生成算子(StyleGan算子)和数据域迁移算子(CycleGan算子)。
优化原理 对于ModelArts提供的GPU资源池,每个训练节点会挂载500GB的NVMe类型SSD提供给用户免费使用。
当前社区vllm只支持float8的kv_cache量化,抽取脚本中dtype类型是"float8_e4m3fn"。dtype类型不影响int8的scale系数的抽取和加载。 启动kv-cache-int8-per-tensor量化服务。
当前社区vllm只支持float8的kv_cache量化,抽取脚本中dtype类型是"float8_e4m3fn"。dtype类型不影响int8的scale系数的抽取和加载。 启动kv-cache-int8-per-tensor量化服务。
数据类型:系统会根据您的数据集,匹配到相应的数据类型。例如本案例使用的数据集,系统匹配为“图片”类型。 数据集输入位置:用来存放源数据集信息,例如本案例中从Gallery下载的数据集。单击图标选择您的OBS桶下的任意一处目录,但不能与输出位置为同一目录。
数据类型:系统会根据您的数据集,匹配到相应的数据类型。例如本案例使用的数据集,系统匹配为“图片”类型。 数据集输入位置:用来存放源数据集信息,例如本案例中从Gallery下载的数据集。单击图标选择您的OBS桶下的任意一处目录,但不能与输出位置为同一目录。
在“访问授权”页面,在“授权对象类型”下面选择“IAM子用户”,“授权对象”选择管理员的账号,选择“新增委托”,“权限配置”选择“普通用户”。管理员不做权限控制,此处默认使用普通用户委托即可。 勾选“我已经详细阅读并同意《 ModelArts服务声明 》”,单击“创建”。
例如在深度学习领域,可以根据用户输入的正样本和负样本,对数据进行清洗,保留用户想要的类别,去除用户不想要的类别。 数据选择:数据选择一般是指从全量数据中选择数据子集的过程。 数据可以通过相似度或者深度学习算法进行选择。