检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
全角转半角：将文本中的全角字符转换为半角字符。 标点符号归一化，支持统一格式的符号如下： {"？": "\?\？"} {"[":"〖"} {"]":"〗"} 数字符号归一化，例如将⓪|||⓿|统一为0.。支持统一格式的符号如下： {"0.": "⓪|||⓿|"} {"1.":
参数名称 参数说明 插件URL 插件服务的请求URL地址。 URL协议只支持HTTP和HTTPS。 系统会校验URL地址是否为标准的URL格式。 URL对应的IP默认不应为内网，否则会导致注册失败。仅在非商用环境部署时，才允许支持内网URL，且需要通过相关的服务的启动配置项关闭内网屏蔽。
数据发布是将单个数据集发布为特定格式的“发布数据集”，用于后续模型训练等操作。 平台支持发布的数据集格式为标准格式、盘古格式。 标准格式：平台默认的格式。该格式的数据集可发布为资产，但不可应用于盘古大模型的开发中。 盘古格式：训练盘古大模型时，需要发布为该格式。当前仅文本类、图片类数据集支持发布为盘古格式。
创建文本类数据集评估标准 ModelArts Studio大模型开发平台针对文本类数据集预设了一套基础评估标准，涵盖了数据准确性、完整性、一致性、格式规范等多个维度，用户可以直接使用该标准或在该标准的基础上创建评估标准。 若您希望使用平台预置的评估标准，可跳过此章节至创建文本类数据集评估任务。
发布视频类数据集 数据发布是将数据集发布为特定格式的“发布数据集”的过程，用于后续模型训练等操作。 视频类数据集当前仅支持发布为“标准格式”。 创建视频类数据集发布任务 创建视频类数据集发布任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。
撰写提示词 提示词是用来引导模型生成的一段文本。撰写的提示词应该包含任务或领域的关键信息，如主题、风格、格式等。 撰写提示词时，可以设置提示词变量。即在提示词中通过添加占位符{{ }}标识表示一些动态的信息，让模型根据不同的情况生成不同的文本，增加模型的灵活性和适应性。例如，将提
作，获取政府部门提供的内部脱敏数据等。相关的数据格式包括但不限于：在线网页、离线word文档、离线txt文件、离线excel表格、离线PDF文件、扫描版word文档、扫描版PDF文件等。 微调数据要求： 数据格式样例：JSONL格式，每行是一条JSON，包含“context”和“target”两个字段。示例如下：
</dependency> jackson版本要求请见pom.xml。 使用java sdk出现json解析报错 图1 json解析报错 服务端返回的数据格式不符合json格式，导致sdk侧解析json数据报错。 服务端返回的json数据不符合json反序列化的规则，和sdk定义的数据结构不一致，导致反序列化失败。
当您的目标任务是多轮问答，并且使用了多轮问答数据进行微调，微调后却发现多轮回答的效果不理想。这种情况可能是由于以下几个原因导致的，建议您依次排查： 数据格式：多轮问答场景需要按照指定的数据格式来构造，以下给出了几条多轮问答的数据样例供您参考： 原始对话示例： A：你是谁？ B：您好，我是盘古大模型。 A：你可以做什么？
正负向要求不要掺杂着写，可以先全部列完正向要求，再列负向要求，比如“你必须xxx；你必须xxx；你不能xxx；你不能xxx”。 规范输出格式 如果需要约束输出格式，可以在提示词里体现。请注意输出格式中的key不要有语义重复，并且需要与前文要求中的key名字保持一致，否则模型会不理解是同一个key。 恰当的表述
宣传文案样例2： YYYY 注意：宣传文案中需要包含产品名称；需要突出产品特性；不超过40个字。 输出格式：宣传文案：xxx 微调数据要求： 数据格式样例：JSONL格式，每行是一条JSON，包含“context”和“target”两个字段。示例如下： {"context":
当您的目标任务是多轮问答，并且使用了多轮问答数据进行微调，微调后却发现多轮回答的效果不理想。这种情况可能是由于以下几个原因导致的，建议您依次排查： 数据格式：多轮问答场景需要按照指定的数据格式来构造，问题需要拼接上历史所有轮对话的问题和回答。比如，当前是第三轮对话，数据中的问题字段需要包含第一轮的问题、第一轮的
在“调用路径”页面，单击“复制路径”即可获取调用路径。 其中，conversation_id参数为会话ID，唯一标识每个会话的标识符，可将会话ID设置为任意值，使用标准UUID格式。 图2 获取工作流调用路径-2 使用Postman调用API 获取Token。参考《API参考》文档“如何调用REST API > 认证鉴权”章节获取Token。
数据发布不仅仅是将数据转换为不同格式，还包括根据任务需求评估数据集效果，确保数据在规模、质量和内容上满足训练标准。具体而言，数据发布具备以下几个重要意义： 多格式支持 对于文本类、图片类数据集，平台支持多种数据发布格式，包括“标准格式”、“盘古格式”，以满足不同训练任务的需求。通过这些格式的转换，用户
在“创建导入任务”页面选择所需要的“文件内容”、“文件格式”、“导入来源”，并单击“选择路径”上传数据文件。 NLP大模型评测数据集支持的格式见表1。 表1 评测数据集格式 模型类型 评测数据集格式 NLP大模型 文本-单轮问答-jsonl格式 上传数据文件后，填写“数据集名称”与“描述”，单击“立即创建”。
服务器无法处理请求附带的媒体格式。 416 Requested Range Not Satisfiable 客户端请求的范围无效。 417 Expectation Failed 服务器无法满足Expect的请求头信息。 422 Unprocessable Entity 请求格式正确，但是由于含有语义错误，无法响应。
数据发布是将数据集发布为特定格式的“发布数据集”，用于后续模型训练等操作。 平台支持发布的数据集格式为标准格式、盘古格式。 标准格式：平台默认的格式。该格式的数据集可发布为资产，但不可应用于盘古大模型的开发中。 盘古格式：训练盘古大模型时，需要发布为该格式。当前仅文本类、图片类数据集支持发布为盘古格式。
ct-Token参数的值为获取到的Token，如图4。 图4 获取Token值 获取的文本翻译API调用地址。华北-北京四区域的调用地址的格式如下： https://nlp-ext.cn-north-4.myhuaweicloud.com/v1/{project_id}/mach
发布气象类数据集 气象类数据集当前仅支持发布为“标准格式”，操作步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 发布任务”，单击界面右上角“创建发布任务”。 在“创建发布任务”页面，选择数据集模态，如“气象
发布预测类数据集 预测类数据集当前仅支持发布为“标准格式”，操作步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 发布任务”，单击界面右上角“创建发布任务”。 在“创建发布任务”页面，选择数据集模态，如“预测
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
