检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本章节主要介绍针对LLaMAFactory开发的测试工具benchmark，支持训练、性能对比、下游任务评测、loss和下游任务对比能力。对比结果以excel文件呈现。方便用户验证发布模型的质量。所有配置都通过yaml文件设置，用户查看默认yaml文件即可知道最优性能的配置。 目前仅支持SFT指令监督微调训练阶段。
在AscendCloud-AIGC代码包的multimodal_algorithm目录下集成了多个多模态模型的适配脚本，用户可通过不同模型中的xxx_install.sh脚本一键适配。在用户通过Dockerfile构建模型的环境镜像时会执行该脚本，这会从github上拉取模型的官方源码，并通过git
with_column_header 否 Boolean 发布时是否将列名写到CSV文件的第一行，对于表格数据集有效。可选值如下： true：发布时将列名写到CSV文件的第一行（默认值） false：发布时不将列名写到CSV文件的第一行 响应参数 状态码： 201 表3 响应Body参数 参数 参数类型
nvidia.com/gpu String GPU节点的GPU资源量。 huawei.com/ascend-snt3 String 昇腾节点的NPU资源量。 huawei.com/ascend-snt9 String 昇腾节点的NPU资源量。 状态码：400 表10 响应Body参数
在AscendCloud-AIGC代码包的multimodal_algorithm目录下集成了多个多模态模型的适配脚本，用户可通过不同模型中的xxx_install.sh脚本一键适配。在用户通过Dockerfile构建模型的环境镜像时会执行该脚本，这会从github上拉取模型的官方源码，并通过git
限请修改。 连接时如果报错密钥无权限，排查密钥是否为自己的密钥（可能使用了重名密钥），请更换密钥后重新连接实例。 本地排查 检查配置是否正确。 打开config文件进行检查：Host必须放在每组配置的第一行，作为每组配置的唯一ID。 HOST remote-dev hostname
用于指定预处理数据的工作线程数。随着线程数的增加，预处理的速度也会提高，但也会增加内存的使用。 per_device_train_batch_size 1 指定每个设备的训练批次大小。 gradient_accumulation_steps 8 必须修改，指定梯度累积的步数，这可以增加批次大小而不增加内存消耗。可参考表1
8：图像的饱和度与训练数据集的特征分布存在较大偏移。 9：图像的色彩丰富程度与训练数据集的特征分布存在较大偏移。 10：图像的清晰度与训练数据集的特征分布存在较大偏移。 11：图像的目标框数量与训练数据集的特征分布存在较大偏移。 12：图像中目标框的面积标准差与训练数据集的特征分布存在较大偏移。
方法1：如果您希望使用公共资源池下的Ascend Snt3，可以等待其他用户释放，即其他使用Ascend Snt3芯片的服务停止，您即可选择此资源进行部署上线。 方法2：如果专属资源池还有Ascend Snt3资源，您可以创建一个Ascend Snt3专属资源池使用。 方法3：如果专属资源池的Ascend
用于指定预处理数据的工作线程数。随着线程数的增加，预处理的速度也会提高，但也会增加内存的使用。 per_device_train_batch_size 1 指定每个设备的训练批次大小。 gradient_accumulation_steps 8 必须修改，指定梯度累积的步数，这可以增加批次大小而不增加内存消耗。可参考表1
用于指定预处理数据的工作线程数。随着线程数的增加，预处理的速度也会提高，但也会增加内存的使用。 per_device_train_batch_size 1 指定每个设备的训练批次大小。 gradient_accumulation_steps 8 必须修改，指定梯度累积的步数，这可以增加批次大小而不增加内存消耗。可参考表1
用于指定预处理数据的工作线程数。随着线程数的增加，预处理的速度也会提高，但也会增加内存的使用。 per_device_train_batch_size 1 指定每个设备的训练批次大小。 gradient_accumulation_steps 8 必须修改，指定梯度累积的步数，这可以增加批次大小而不增加内存消耗。可参考表1
内容审核 深入业务场景，提供完备成熟的内容审核/CV场景快速昇腾迁移的方案，高效解决业务内容审核的算力/国产化需求，助力企业业务稳健发展。 政府 提高公共服务的效率和质量，加强公共安全，优化政策方案和决策过程等。 金融 为金融机构带来更加高效、智能、精准的服务。 矿山 提供端到端AI生
只支持布尔（bool）数据类型，或者为None。 query的shape仅支持 [B, N1, S1, D]，其中N1≤ 2048，D≤ 512并且dim== 4。 对于GQA，key的shape是 [B, N2, S2, D]，其中 N2 ≤ 2048，并且N1是N2的正整数倍。 不满足以上场景，则不能实现NPU_Flash_Attn功能。
类型，或者为None。 query的shape仅支持 [B, N1, S1, D]，其中N1≤ 2048，D≤ 512并且dim== 4。 对于GQA，key的shape是 [B, N2, S2, D]，其中N2 ≤ 2048，并且N1是N2的正整数倍。 不满足以上场景，则不能实现NPU_Flash_Attn功能。
发送推理的请求，请求的内容根据模型的不同可以是文本，图片，语音，视频等内容。 当使用调用指南页签中显示的调用地址（华为云APIG网关服务的地址）预测时，对请求体的大小限制是12MB，超过12MB时，请求会被拦截。 如果是从ModelArts console的预测页签进行的预测，由
来源训练作业的版本，模型是从训练作业产生的可填写，用于溯源；如模型是从第三方元模型导入，则为空，默认值为空。 source_type 否 String 模型来源的类型，当前仅可取值auto，用于区分通过自动学习部署过来的模型（不提供模型下载功能）；用户通过训练作业部署的模型不设置此值。默认值为空。
否 String 用户名，GaussDB(DWS)数据需提供此参数。 user_password 否 String 用户密码，GaussDB(DWS)数据需提供此参数。 vpc_id 否 String MRS集群所在的vpc的ID。 表6 LabelFormat 参数 是否必选 参数类型
成功”的“事件发生时间”，创建成功的时间点对应界面上的“事件发生时间”。 对于公共资源池：计费的起点以实例创建成功的时间点为准，终点以实例停止或删除的时间为准。 实例具体如下： 因运行自动学习作业，而创建的对应的训练作业和在线服务。 因运行Workflow工作流，而创建的对应的训练作业和在线服务。
在线服务部署完成且服务已经处于“运行中”的状态，向服务发起推理请求，报错“ModelArts.4206”。 原因分析 ModelArts.4206表示该API的请求流量超过了设定值。为了保证服务的平稳运行，ModelArts对单个API的推理请求流量做了限制，同时为了保证推理服务
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
