检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过云图说，带您了解华为云 OCR基础课程 介绍文字识别服务的产品、技术指导和使用指南 OCR系列介绍 文字识别服务在计算机视觉的重要性、基本技术和最新进展 智能客服 您好！我是有问必答知识渊博的的智能问答机器人，有问题欢迎随时求助哦！ 社区求助 华为云社区是华为云用户的聚集地。这里
盘古大模型为用户提供了服务试用，需提交试用申请。 试用申请步骤如下： 登录ModelArts Studio大模型开发平台。 单击“试用咨询”，进入华为云售前咨询页面。 图1 申请试用 填写姓名、联系电话等用户信息，单击“提交申请”进行表单预约。 父主题： 准备工作
去除重复数据：确保数据集中每条数据的唯一性。 填补缺失值：填充数据中的缺失部分，常用方法包括均值填充、中位数填充或删除缺失数据。 数据标准化：将数据转换为统一的格式或范围，特别是在处理数值型数据时（如归一化或标准化）。 去噪处理：去除无关或异常值，减少对模型训练的干扰。 数据预处理的目的是
概述 盘古大模型整合华为云强大的计算和数据资源，将先进的AI算法集成在预训练大模型中，打造出具有深度语义理解与生成能力的人工智能大语言模型。可进行对话互动、回答问题、协助创作。 盘古大模型在ModelArts Studio大模型开发平台部署后，可以通过API调用推理接口。 表1 API清单
准备工作 注册华为账号并开通华为云，并完成实名认证，账号不能处于欠费或冻结状态。 检查开发环境要求，确认本地已具备开发环境。 登录“我的凭证 > 访问密钥”页面，依据界面操作指引获取Access Key（AK）和Secret Access Key（SK）。下载的访问密钥为credentials
变更计费模式 盘古大模型的模型订阅、数据托管单元、推理单元默认采用包周期计费，数据智算单元、数据通算单元默认采用按需计费，训练单元采用包周期和按需计费两种方式。 盘古大模型使用周期内不支持变更配置。
为确保有可用的NLP大模型，请先完成NLP大模型的部署操作，详见《用户指南》“开发盘古NLP大模型 > 部署NLP大模型 > 创建NLP大模型部署任务”。 本实践将使用华为云文本翻译API，请先完成创建多语言文本翻译插件操作。 操作流程 创建盘古多语言文本翻译工作流的流程见表1。 表1 创建盘古多语言文本翻译工作流流程
[{"context":"你好","target":"你好，请问有什么可以帮助你的？"},{"context":"请介绍一下华为云的产品。","target":"华为云提供包括但不限于计算、存储、网络等产品服务。"}] 编码格式为UTF-8，所有文本大小最大不超过1GB，目录下文件数量最多不超过100个。
进入提问器节点。该节点主要负责提问用户翻译需求（如翻译文本、目标语言等）。 文本翻译插件节点：在翻译意图分支中，文本翻译插件节点负责调用华为云文本翻译API，实现从源语言到目标语言的翻译过程。插件将翻译结果返回，传递给结束节点。 大模型节点：如果用户的意图属于“其他”意图分支（如
给定一个提示和一些参数，模型会根据这些信息生成一个或多个预测的补全，还可以返回每个位置上不同词语的概率。它可以用来做文本生成、自动写作、代码补全等任务。 开发环境要求 华为云盘古大模型推理SDK要求： Java SDK适用于JDK 1.8及其以上版本。 Python SDK适用于Python3及以上版本。 Go
包年/包月和按需计费模式是否支持互相切换 包年/包月和按需计费模式支持互相切换： 盘古大模型提供包周期计费、按需计费两种计费模式，两种计费模式可通过重新订购互相切换。 例如，退订训练单元的包周期资源后，可重新订购训练单元的按需计费，即可完成切换。 父主题： 计费FAQ
、表单、公式等内容提取。 数据转换 个人数据脱敏 对文本中的手机号码、身份证件、邮箱地址、url链接、国内车牌号、IP地址、MAC地址、IMEI、护照、车架号等个人敏感信息进行数据脱敏，或直接删除敏感信息。 中文简繁转换 将中文简体和中文繁体进行转换。 符号标准化 查找文本中携带的非标准化符号进行标准化、统一化转换。
使用Python脚本转换自定义格式为jsonl格式 对于文本类数据集，除文档、网页数据类型，其余类型的数据支持将自定义格式转换为jsonl格式。 用户可以上传自定义的python脚本实现数据集由自定义格式到jsonl格式的转换，页面中会提供脚本示例，可下载作为参考。 自定义格式转换的具体步骤为：
Studio平台支持从OBS服务导入数据。您可以将本地数据上传至OBS（对象存储服务），然后通过平台提供的“数据导入”功能，将存储在OBS中的数据导入至平台进行使用。 具体操作步骤如下： 上传数据至OBS：将本地数据上传至OBS服务，请详见通过控制台快速使用OBS。 使用数据导入功能
配置服务访问授权 配置OBS访问授权 ModelArts Studio大模型开发平台使用对象存储服务（Object Storage Service，简称OBS）进行数据存储，实现安全、高可靠和低成本的存储需求。因此，为了能够顺利进行存储数据、训练模型等操作，需要用户配置访问OBS服务的权限。
量的要求较大，如果您的无监督文档量级过小，达不到预训练要求，您可以通过一些手段将其转换为有监督数据，再将转换后的领域知识与目标任务数据混合，使用微调的方式让模型学习。 这里提供了一些将无监督数据转换为有监督数据的方案，供您参考： 基于规则构建：您可以通过采用一些简单的规则来构建有监督数据。比如：
创建空间 单击创建好的空间，进入ModelArts Studio大模型开发平台。 如果用户具备多个空间的访问权限，可在页面左上角单击切换空间。 图2 切换空间 管理盘古工作空间 盘古工作空间支持用户查看当前空间详情，修改空间名称与描述，还可以对不需要的空间实现删除操作。 登录ModelArts
支持1个实例部署推理。 Pangu-AI4S-Weather_Precip-20241030 2024年10月发布的版本，用于降水预测，支持1个实例部署推理。 Pangu-AI4S-Weather-Precip_6h-3.0.0 2024年12月发布的版本，相较于10月发布的版本
U：U风 V：V风 MLSP：海平面气压 U10：10米U风，经度方向 V10：10米V风，纬度方向 T2M：2米温度 PRECIP6：过去6h累计降水 PRECIP24：过去24h累计降水 1、3、6、24小时 0.25°*0.25° 全球 支持训练的模型清单见表2，您可根据具体使用场
80d14e684b", "name": "project_name", "description": "", "links": { "next": null,
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
