检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String 标注团队名称,名称不能包含!<>=&"',长度为0-1024位。 表5 Worker 参数 是否必选 参数类型 描述 create_time 否 Long 创建时间。 description 否 String 标注成员描述,长度为0-256位,不能包含^!<>=&"'特殊字符。
gallery_train文件夹必须是一级目录直接上传,否则会被判定不符合自定义模型规范,无法使用模型微调。 如果自定义模型的模型文件不符合gallery_train文件列表要求或文件内容为空,都将不能正常进行模型微调。 表1 gallery_train文件列表 文件类型 文件说明 “train
4。 对于GQA,key的shape是 [B, N2, S2, D],其中 N2 ≤ 2048,并且N1是N2的正整数倍。 不满足以上场景,则不能实现NPU_Flash_Attn功能。 父主题: 训练脚本说明
4。 对于GQA,key的shape是 [B, N2, S2, D],其中 N2 ≤ 2048,并且N1是N2的正整数倍。 不满足以上场景,则不能实现NPU_Flash_Attn功能。 父主题: 训练脚本说明
4。 对于GQA,key的shape是 [B, N2, S2, D],其中N2 ≤ 2048,并且N1是N2的正整数倍。 不满足以上场景,则不能实现NPU_Flash_Attn功能。 父主题: 训练脚本说明
为不同的用户组设置细粒度权限供组里的用户使用。 如果您未开通企业项目管理服务的权限,也可以在ModelArts创建自己独立的工作空间,但是无法使用跟企业项目相关的功能。 工作空间为白名单功能,使用该功能需要提工单申请开通。 父主题: 基本配置
4。 对于GQA,key的shape是 [B, N2, S2, D],其中 N2 ≤ 2048,并且N1是N2的正整数倍。 不满足以上场景,则不能实现NPU_Flash_Attn功能。 父主题: 训练脚本说明
ModelArts的容器会有一个/cache目录,这个目录挂载的硬盘容量最大。建议下载数据和中间数据都存到这个目录中,防止因硬盘占满导致任务失败。 父主题: 基于ModelArts Standard运行GPU训练作业
Queuing:排队中 Running:运行中 Failed:运行失败 Completed:已完成 Terminating:停止中 Terminated:已停止 CreateFailed:创建失败 TerminatedFailed:停止失败 Unknown:未知状态 Lost:异常 duration
数据集导入节点的名称,命名规范(只能包含英文字母、数字、下划线(_)、中划线(-),并且只能以英文字母开头,长度限制为64字符),一个Workflow里的两个step名称不能重复。 是 str inputs 数据集导入节点的输入列表。 是 DatasetImportInput或者DatasetImportInput的列表
部署进度,当状态是deploying时,返回。 invocation_times Number 服务的总调用次数。 failed_times Number 服务调用失败次数。 is_shared Boolean 是否是订阅的服务。 shared_count Number 订阅的服务数。 父主题: 服务管理
息无误,输入“DELETE”,然后单击“确定”,完成删除操作。 图1 删除Server实例 包年/包月的Lite Server资源仅在创建失败或错误状态下,才可以删除,其它状态下仅支持退订。 退订“包年/包月”的Lite Server资源 您可通过以下方式进行退订: 方式一:在M
见表3。 per-tensor静态量化场景 在GPU机器上使用tensorRT 0.9.0版本工具进行模型量化,工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。 量化脚本convert_checkpoint
0.9.0版本工具进行模型量化,工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。 执行如下脚本进行权重转换生成量化系数,详细参数解释请参见https://github.com/NVIDIA/TensorR
0.9.0版本工具进行模型量化,工具下载使用指导请参见https://github.com/NVIDIA/TensorRT-LLM/tree/v0.9.0。 执行如下脚本进行权重转换生成量化系数,详细参数解释请参见https://github.com/NVIDIA/TensorR
服务分钟调用量,这里指当前时间上一分钟的服务调用总量。 表5 Monitor 参数 参数类型 描述 failed_times Integer 模型实例调用失败次数,在线服务字段。 model_version String 模型版本,在线服务字段。 cpu_memory_total Integer
Terminating:中止中 Creating:创建中 Running:运行中 Completed:已完成 Terminated:已终止 Failed:运行失败 sort 否 String 排序依据字段。可选值: create_time:根据作业创建时间排序 ascend 否 Boolean 是否按照升序排序。
导入方式选择manifest时,需要满足manifest文件的规范。 数据标注状态选择“已标注”,您需要保证目录或manifest文件满足相应的格式规范,否则可能存在导入失败的情况。 导入已标注的文件,导入完成后,请检查您导入的数据是否为已标注状态。 表格数据集从OBS导入操作 ModelArts支持从OBS导入表格数据,即csv文件。
容器时会用到,此处可以自己定义一个容器名称。 ${image_id}:镜像ID,通过docker images查看刚拉取的镜像ID。 容器不能挂载到/home/ma-user目录,此目录为ma-user用户家目录。如果容器挂载到/home/ma-user下,拉起容器时会与基础镜像冲突,导致基础镜像不可用。
件”,确认信息无误后,单击“确定”完成图片删除操作。 其中,被选中的图片,其左上角将显示为勾选状态。如果当前页面无选中图片时,按钮为灰色,无法执行删除操作。 图1 删除数据集图片 父主题: Standard数据管理