检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
8：图像的饱和度与训练数据集的特征分布存在较大偏移。 9：图像的色彩丰富程度与训练数据集的特征分布存在较大偏移。 10：图像的清晰度与训练数据集的特征分布存在较大偏移。 11：图像的目标框数量与训练数据集的特征分布存在较大偏移。 12：图像中目标框的面积标准差与训练数据集的特征分布存在较大偏移。
执行训练启动命令后，等待模型载入，当出现“training”关键字时，表示开始训练。训练过程中，训练日志会在最后的Rank节点打印。 图1 等待模型载入 最后，请参考查看日志和性能章节查看预训练的日志和性能。 父主题： 主流开源大模型基于DevServer适配ModelLink PyTorch
选择“我的服务”页签。 选择待删除的服务，单击操作列的“更多 > 删除”，在弹窗中输入“DELETE”，单击“确定”，删除服务。 单实例QPS的推荐值说明 单实例流量限制QPS和请求的输入输出有关，表2中的QPS推荐值是在多轮对话、摘要生产和信息检索场景下预估出的数据，仅供参
查询OS的配置参数 功能介绍 获取ModelArts OS服务的配置参数，如网络网段，用户资源配额等。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI GET /v1
本次批量服务所使用的模型名称及版本。 运行日志输出 默认关闭，批量服务的运行日志仅存放在ModelArts日志系统。 启用运行日志输出后，批量服务的运行日志会输出存放到云日志服务LTS。LTS自动创建日志组和日志流，默认缓存7天内的运行日志。如需了解LTS专业日志管理功能，请参见云日志服务。
--model-type：模型类型。 --loader：选择对应加载模型脚本的名称。 --saver：选择模型保存脚本的名称。 --tensor-model-parallel-size：${TP}张量并行数，需要与训练脚本中的TP值配置一样。 --pipeline-model-paralle
解除API对APP的授权 功能介绍 解除指定的API对APP的授权，请求用户对API所属服务必须有更新权限。同URL：/v1/{project_id}/app-auth/{service_id}/apis/{api_id}/auths 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API
训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 如果想详细了解脚本执行训练权重转换操作和数据集预处理操作说明请分别参见训练中的权重转换说明和训练的数据集预处理说明。 Step2 修改训练超参配置 以Llama2-70b和Llama2-13b的SFT微调为例，执行脚本为0_pl_sft_70b
自定义一个易于分辨的AI应用中文名称。 字符长度在1到30之间。 许可证 否 选择AI应用遵循的许可证。 计算规格选择 是 按需选择计算规格。单击“选择”，在弹窗中选择资源规格并设置运行时长控制，单击“确定”。 在“所在区”选择计算规格所在的区域。默认显示全部区域的计算规格。 选择
开发环境的应用示例 本节通过调用一系列API，以创建开发环境实例为例介绍ModelArts API的使用流程。 概述 创建开发环境实例的流程如下： 调用认证鉴权接口获取用户Token，在后续的请求中需要将Token放到请求消息头中作为认证。 调用查询支持的镜像列表接口查看开发环境的镜像类型和版本。
String 用户GaussDB(DWS)集群的IP地址。 port String 用户GaussDB(DWS)集群的端口。 queue_name String 表格数据集，DLI队列名。 subnet_id String MRS集群的子网ID。 table_name String
OBS目录中的文件创建训练作业。如果选择通过数据集作为训练任务的数据源，则需要指定数据集及特定的版本。因此，用户需要为准备好的数据发布一个版本，具体操作参考发布ModelArts数据集中的数据版本。 为了便于后期的模型构建和开发，对同一数据源来说，将其不同时间对数据的处理和标注按
低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表3。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：per-group Step1 模型量化 可以在Huggingface开源社区获取AWQ量化后的模型权重；或者获取FP16/BF16的模型权重之后，通过autoAWQ工具进行量化。
文件不存在，请忽略该报错继续执行后续操作。 检查复制的OBS的路径是否与开发环境或训练作业在同一个区域。 进入ModelArts管理控制台，查看其所在区域。然后再进入OBS管理控制台，查看您使用的OBS桶所在的区域。查看是否在同一区域。 是，请执行3。 否，请在ModelArts同一区域的OBS中新建桶和文件夹，并将所需的数据上传至此OBS桶中。
则会在容器内安装依赖以及下载完整的代码。当训练作业结束后，对应的容器也会同步销毁。 图4 训练作业启动命令 ECS中构建新镜像（二选一） 通过ECS获取和上传基础镜像获取基础镜像后，可通过ECS运行Dockerfile文件，在镜像的基础上构建新镜像。 获取模型软件包，并上传到ECS的目录下（可自定义路径），获取地址参考表1。
欠费后，ModelArts的资源是否会被删除？ 欠费后，ModelArts的资源不会被立即删除。 欠费后，您可以在“费用中心”查看欠费详情。为了防止相关资源不会被停止服务或者逾期释放，您需要及时进行还款或充值。 查询欠费步骤 登录管理控制台。 单击页面右上角的“费用”进入“费用中心”页面。
训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 如果想详细了解脚本执行训练权重转换操作和数据集预处理操作说明请分别参见训练中的权重转换说明和训练的数据集预处理说明。 Step2 修改训练超参配置 以Llama2-70b和Llama2-13b的LoRA微调为例，执行脚本为0_pl_lora_70b
tch下的增量推理时延。支持AWQ量化的模型列表请参见表1。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化，量化方法为per-group。 Step1 模型量化 可以在Huggingface开源社区获取AWQ量化后的模型权重；或者获取FP16/BF16的模型权重之后，通过autoAWQ工具进行量化。
低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表3。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：per-group Step1 模型量化 可以在Huggingface开源社区获取AWQ量化后的模型权重；或者获取FP16/BF16的模型权重之后，通过autoAWQ工具进行量化。
发空间中运行，发现镜像中可能存在的问题。 表10 参数说明 参数名 参数类型 是否必选 参数说明 -swr / --swr-path String 是 需要调试的镜像的SWR路径。 -r / --region String 是 需要调试的镜像所在的区域。 -s / --service
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
