检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
N-gram特征过滤 用于判断文档重复度,根据特征N值计算文档内词语按N值组合后的重复此时,可通过以下两种算法比较结果是否大于特征阈值,大于特征阈值的文档删除。 top-gram过滤:计算重复最多的garm占总长度的比例,大于特征阈值则删除。
plugin_configs 是 Map<String, String> 插件配置,对应查询需要运行时传值的参数。
表2 请求Header参数(APPCode认证) 参数 是否必选 参数类型 描述 X-Apig-AppCode 是 String APPCode值。 用于获取操作API的权限。AppCode认证响应消息头中X-Apig-AppCode的值即为APPCode。
标准化列 指定需要进行最大最小值标准化处理的数值特征的列表。格式为["列名1","列名2"],默认设置为[],表示没有特征需要标准化。标准化将特征值缩放到0到1的范围,处理分布差异较大的数值特征。 预测目标列 指定预测目标变量的列名,仅支持单目标变量预测。
请检查训练参数中的 “训练轮次”或“学习率”等参数的设置,适当降低这些参数的值,降低过拟合的风险。 数据质量:请检查训练数据的质量,若训练样本出现了大量重复数据,或者数据多样性很差,则会加剧该现象。 父主题: 大模型微调训练类问题
图3 请求体参数获取 请求体参数配置完成后,单击“调试”,在响应结果中单击“响应头”,其中,X-Subject-Token参数的值为获取到的Token,如图4。 图4 获取Token值 获取的文本翻译API调用地址。
单击右上角“试运行”,在“插件配置”中单击“添加参数”,填写X-Auth-Token和Token值,单击“开始运行”。 其中,X-Auth-Token为文本翻译的鉴权参数,Token值由创建多语言文本翻译插件获取。 图13 插件配置 试运行工作流。在“试运行”页面,输入对话。
2024年12月发布的版本,支持根据历史时间序列数据来预测未来的值,广泛应用于金融、销售预测、天气预报、能源消耗预测等领域。 父主题: 训练预测大模型
表2 请求Header参数(APPCode认证) 参数 是否必选 参数类型 描述 X-Apig-AppCode 是 String APPCode值。 用于获取操作API的权限。AppCode认证响应消息头中X-Apig-AppCode的值即为APPCode。
核采样 模型在输出时会从概率最高的词汇开始选择,直到这些词汇的总概率累积达到核采样值。核采样值可以限制模型选择这些高概率的词汇,从而控制输出内容的多样性,取值范围为0.1到1之间。 在“预览调试”的左下角,选择是否开启“代码解释器”。
作业配置参数 设置模型部署参数信息,平台已给出默认值。 安全护栏 选择模式 安全护栏保障模型调用安全。 选择类型 当前支持安全护栏基础版,内置了默认的内容审核规则。 资源配置 计费模式 包年包月计费模式。 实例数 设置部署模型时所需的实例数。
按标签:该场景适用于通过数据打标类清洗算子进行加工的文本类数据集,具体标签名称与标签值可在完成清洗文本类数据集操作后,进入数据集详情页面获取。 填写示例如图1所示。 图1 “按标签”配比方式填写示例 页面将返回至“数据配比”页面,配比任务运行成功后,状态将显示为“运行成功”。
获取Token接口响应消息头中X-Subject-Token的值即为Token。 Content-Type 是 String 发送的实体的MIME类型,参数值为“application/json”。
数据转换 图文异常字符过滤 将文本数据中携带的异常字符替换为空值,数据条目不变。 不可见字符,例如U+0000-U+001F 表情符六 网页标签符号<p> 特殊符号,比如● █ ◆ 乱码和无意义的字符����� 父主题: 数据集清洗算子介绍
在评估提示词效果时,可以通过批量替换{{location}}的值,来获得模型回答,提升评测效率。 同时,撰写提示词过程中,可以通过设置模型参数来控制模型的生成行为,如调整温度、核采样、最大Token限制等参数。
数据完整性:必须确保数据中没有缺失值。 构建预测大模型数据集流程 在ModelArts Studio大模型开发平台中,使用数据工程构建盘古预测大模型数据集流程见表2。
通过重试机制,在代码里检查返回值,碰到并发错误可以延时一小段时间(如2-5s)重试请求。 后端检查上一个请求结果,上一个请求返回之后再发送下一个请求,避免请求过于频繁。 父主题: 附录
其中,标注图上的每个像素值对应原图中像素的类别,且每个类别的值需连续且从0开始,表示不同的物体或区域类别。
不同模型训练参数默认值存在一定差异,请以前端页面展示的默认值为准。 参数填写完成后,单击“立即创建”。 创建好训练任务后,页面将返回“模型训练”页面,可随时查看当前任务的状态。
填补缺失值:填充数据中的缺失部分,常用方法包括均值填充、中位数填充或删除缺失数据。 数据标准化:将数据转换为统一的格式或范围,特别是在处理数值型数据时(如归一化或标准化)。 去噪处理:去除无关或异常值,减少对模型训练的干扰。