检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基于标签路径提取HTML数据内容,并将其他与待提取标签路径无关的内容删除。 电子书内容提取 从电子书中提取出所有文本内容。 智能文档解析 从PDF(支持扫描版)或图片中提取文本,转化为结构化数据,持文本、表格、表单、公式等内容提取。 数据转换 个人数据脱敏 对文本中的电话号码、邮箱、身份证、车
供的内部脱敏数据等。相关的数据格式包括但不限于:在线网页、离线word文档、离线txt文件、离线excel表格、离线PDF文件、扫描版word文档、扫描版PDF文件等。 微调数据要求: 数据格式样例:JSONL格式,每行是一条JSON,包含“context”和“target”两个字段。示例如下:
基于NL2JSON助力金融精细化运营 场景介绍 在金融场景中,客户日常业务依赖大量报表数据来支持精细化运营,但手工定制开发往往耗费大量人力。因此,希望借助大模型消除语义歧义性,识别用户查询意图,并直接生成支持下游操作的结构化JSON信息。大模型的NL2JSON能力可以从自然语言输
如何对盘古大模型的安全性展开评估和防护 盘古大模型的安全性主要从以下方面考虑: 数据安全和隐私保护:大模型涉及大量训练数据,这些数据是重要资产。为确保数据安全,需在数据和模型训练的全生命周期内,包括数据提取、加工、传输、训练、推理和删除的各个环节,提供防篡改、数据隐私保护、加密、
视频类加工算子能力清单 数据加工算子为用户提供了多种数据操作能力,包括数据提取、过滤、转换、打标签和评分等。这些算子能够帮助用户从海量数据中提取出有用信息,并进行深度加工,以生成高质量的训练数据。 平台支持视频类数据集的加工操作,分为数据提取、数据过滤、数据打标三类,视频类加工算子能力清单见表1。
创建盘古多语言文本翻译工作流 场景描述 该示例演示了如何创建多语言文本翻译工作流,示例将调用华为云文本翻译API,详见文本翻译。 准备工作 提前开通“文本翻译”服务。登录自然语言处理控制台,在总览页面下方开通“文本翻译”服务,单击“开通服务”。 图1 开通文本翻译服务 提前获取文
撰写所需提示词 提示词是用来引导模型生成的一段文本。撰写的提示词应该包含任务或领域的关键信息,如主题、风格、格式等。 撰写提示词时,可以设置提示词变量。即在提示词中通过添加占位符{{ }}标识表示一些动态的信息,让模型根据不同的情况生成不同的文本,增加模型的灵活性和适应性。例如,
创建工作流 支持开发者基于Agent平台创建工作流。创建工作流时,工作流默认包含了开始、结束和大模型组件。开发者可基于该工作流,添加更多的组件,实现业务流程的编排。 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“Agent开发”,将跳转至Agent开发平台。
云容器引擎-成长地图 | 华为云 盘古大模型 盘古大模型服务(PanguLargeModels)致力于深耕行业,打造多领域行业大模型和能力集。盘古大模型能力通过ModelArts Studio大模型开发平台承载,它提供了包括盘古大模型在内的多种大模型服务,提供覆盖全生命周期的大模型工具链。
Agent开发 Agent开发平台为开发者提供了一个全面的工具集,帮助您高效地开发、优化和部署应用智能体。无论您是新手还是有经验的开发者,都能通过平台提供的提示词工程、插件扩展、灵活的工作流设计和全链路调测功能,快速实现智能体应用的开发与落地,加速行业AI应用的创新与应用。 对于零码开发者(无代码开发经验的用户):
图片类加工算子能力清单 数据加工算子为用户提供了多种数据操作能力,包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息,并进行深度加工,以生成高质量的训练数据。 平台提供了图文类、图片类加工算子,算子能力清单见表1、表2。 图文类加工算子能力清单 表1
其他类数据集格式要求 除文本、图片、视频、气象、预测类数据集外,用户训练模型时如果使用较特殊的数据集,ModelArts Studio大模型开发平台支持导入用户自定义的数据集。 例如,在训练CV类算法(如图片分类、图片分割、图片检测等任务)时,用户需使用“其他”类型的数据集。 其
创建推理作业 功能介绍 创建科学计算大模型中气象/降水模型的推理作业。 URI POST /tasks 科学计算大模型的API请求地址可以直接在ModelArts Studio大模型开发平台获取: 登录ModelArts Studio大模型开发平台,进入所需空间。 获取调用路径及部署ID。单击左侧“模型开发
数据集评估场景介绍 数据评估概念 数据评估旨在通过对数据集进行系统的质量检查,评估其准确性、完整性、一致性和代表性等多个维度,发现潜在问题并加以解决。 在构建和使用数据集的过程中,数据评估是确保数据质量的关键步骤,直接影响模型的性能和应用效果。高质量的数据集能够显著提升模型的准确
使用“能力调测”调用科学计算大模型 平台提供的“能力调测”功能支持用户直接调用预置模型或经过训练的模型。使用该功能前,需完成模型的部署操作,详见创建科学计算大模型部署任务。 科学计算大模型支持全球中期天气要素预测、全球中期降水预测、全球海洋要素、区域海洋要素、全球海洋生态、全球海