检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
合并发布为“发布数据集”的过程，确保数据的多样性、平衡性和代表性。 如果单个数据集已满足您的需求，可跳过此章节至流通图片类数据集。 创建图片类数据集配比任务 创建图片类数据集配比任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。
RUNNING：表示任务运行中。 PENDING：表示任务等待中。 SUCCEEDED：表示任务运行成功。 FAILED：表示任务运行失败。 input TaskInputDto object 输入数据的信息。 output TaskOutputDto object 输出数据的信息。 config
合并发布为“发布数据集”的过程，确保数据的多样性、平衡性和代表性。 如果单个数据集已满足您的需求，可跳过此章节至流通文本类数据集。 创建文本类数据集配比任务 创建文本类数据集配比任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。
服务，便捷地构建自己的模型和应用。 数据工程工具链：数据是大模型训练的核心基础。数据工程工具链作为平台的重要组成部分，具备数据获取、数据加工和数据发布等功能，确保数据的高质量与一致性。工具链能够高效收集并处理各种格式的数据，满足不同训练任务的需求，并提供强大的数据存储和管理能力，为大模型训练提供坚实的数据支持。
RUNNING：表示任务运行中。 PENDING：表示任务等待中。 SUCCEEDED：表示任务运行成功。 FAILED：表示任务运行失败。 input TaskInputDto object 输入数据的信息。 output TaskOutputDto object 输出数据的信息。 config
练任务。 克隆。单击操作列的“更多 > 克隆”，可以复制当前训练任务。 重试。单击操作列的“更多 > 重试”，可以编辑运行失败的节点，重试该节点的训练。 删除。单击操作列的“更多 > 删除”，可以删除当前不需要的训练任务。 删除属于高危操作，删除前请确保当前任务不再需要。 父主题：
练任务。 克隆。单击操作列的“更多 > 克隆”，可以复制当前训练任务。 重试。单击操作列的“更多 > 重试”，可以编辑运行失败的节点，重试该节点的训练。 删除。单击操作列的“更多 > 删除”，可以删除当前不需要的训练任务。 删除属于高危操作，删除前请确保当前任务不再需要。 父主题：
练任务。 克隆。单击操作列的“更多 > 克隆”，可以复制当前训练任务。 重试。单击操作列的“更多 > 重试”，可以编辑运行失败的节点，重试该节点的训练。 删除。单击操作列的“更多 > 删除”，可以删除当前不需要的训练任务。 删除属于高危操作，删除前请确保当前任务不再需要。 父主题：
来了巨大的挑战。盘古NLP大模型为程序员提供了强大的代码助手，显著提升了研发效率。 盘古大模型能够根据用户给定的题目，快速生成高质量的代码，支持Java、Python、Go等多种编程语言。它不仅能够提供完整的代码实现，还能够根据用户的需求，进行代码补全和不同编程语言之间的改写转化
编辑。单击操作列的“编辑”，可以修改模型的checkpoints、训练参数、训练数据以及基本信息等。 启动。单击操作列的“启动”，再单击弹窗的“确定”，可以启动训练任务。 克隆。单击操作列的“更多 > 克隆”，可以复制当前训练任务。 重试。单击操作列的“更多 > 重试”，可以编辑运行失败的节点，重试该节点的训练。 删除。单击操作列的“更多
单击“点此上传”上传本地文件至知识库。支持单次上传文件个数不超过300个。 上传完成后，单击“确定”，完成知识库的创建。 知识库创建完成后，如果想在当前知识库中继续上传文件，可单击该知识库进入详情页面，再单击右上角“继续上传”，上传本地文件。 知识库命中测试 平台支持对创建的知识库进行命中测试，以评估知识库的效果和准确性。
人满意的精度。此外，模型具备自我学习和不断进化的能力，随着新数据的持续输入，其性能和适应性不断提升，确保在多变的语言环境中始终保持领先地位。 应用场景灵活 盘古大模型具备强大的学习能力，能够通过少量行业数据快速适应特定业务场景的需求。模型在微调后能够迅速掌握并理解特定行业的专业知
通过集成数据获取、数据加工、数据发布的完整流程，在大规模数据集的构建过程中，ModelArts Studio大模型开发平台的数据工程功能为用户提供了极大的灵活性和高效性，确保了数据处理的各个环节都能紧密协作，快速响应不断变化的业务需求和技术要求。 平台支持的数据类型 ModelArts
登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 数据流通”，单击界面右上角“创建流通任务”。 在“创建流通任务”页面，选择数据集模态，如“预测 > 时序”类型的数据集。 图1 选择数据集模态 选择数据集，单击“下一步”。
登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 数据流通”，单击界面右上角“创建流通任务”。 在“创建流通任务”页面，选择数据集模态，如“气象 > 气象数据”类型的数据集。 图1 选择数据集模态 选择数据集，单击“下一步”。
登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据发布 > 数据流通”，单击界面右上角“创建流通任务”。 在“创建流通任务”页面，选择数据集模态，如“其他 > 自定义”类型的数据集。 图1 选择数据集模态 选择数据集，单击“下一步”。
数据流通是将单个数据集发布为特定格式的“发布数据集”的过程，用于后续模型训练等操作。 视频类数据集当前仅支持发布为“默认格式”。 创建视频类数据集流通任务 创建视频类数据集流通任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。 在左侧导航栏中选择“数据工程
知识库介绍 平台提供了知识库功能来管理和存储数据，支持为应用提供自定义数据，并与之进行互动。 知识库支持导入以下格式的本地文档： 文本文档数据。支持上传常见文本格式，包括：txt、doc、docx、pdf、ppt、pptx格式。 表格数据。支持上传常见的表格文件格式，便于管理和分
设置条件判断逻辑，根据不同情况分支到不同的流程路径。 步骤8：配置代码节点 配置自定义代码逻辑，用于处理特定的业务需求或复杂运算。 步骤9：配置消息节点 向用户展示中间过程的消息输出能力。 步骤10：配置结束节点 设定工作流的结束点，标志流程的完成或终止。 步骤11：试运行工作流 进行工作流的调试，确保各节点正常运行。
在左侧导航栏中选择“数据工程 > 数据获取”，单击界面右上角“创建导入任务”。 在“创建导入任务”页面选择所需要的“文件内容”、“文件格式”、“导入来源”，并单击“选择路径”上传数据文件。 NLP大模型评测数据集支持的格式见表1。 表1 评测数据集格式 模型类型 评测数据集格式 NLP大模型 文本-单轮问答-jsonl格式
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
