检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用CDM服务迁移Hadoop数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云Hadoop集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能有差异
使用CDM服务迁移HBase数据至MRS集群 应用场景 本章节适用于将线下IDC机房或者公有云HBase集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。 本章节以通过华为云CDM服务 2.9.1.200版本进行数据迁移为例介绍。不同版本操作可能有差异
实时流处理引擎：从Kafka实时读取时序数据，并进行一些逻辑运算，将实时时序数据写入时序数据库中。 数据湖：其他IT系统上的数据，时序数据库可以通过跨源分析能力与数据湖中的全量数据进行关联，与IT数据进行进一步的复杂分析。
HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。 HBase使用场景有如下几个特点： 处理海量数据（TB或PB级别以上）。 具有高吞吐量。 在海量数据中实现高效的随机读取。 具有很好的伸缩能力。 能够同时处理结构化和非结构化的数据。
ClickHouse核心的功能特性介绍如下： 完备的DBMS功能 ClickHouse拥有完备的DBMS数据库管理系统（Database Management System），基本功能如下所示。
--database 默认当前操作的数据库。 默认值为服务端的默认配置（default）。 --multiline 如果指定，允许多行语句查询（Enter仅代表换行，不代表查询语句完结）。 --multiquery 如果指定，允许处理用;号分隔的多个查询，只在非交互模式下生效。
OpenTSDB OpenTSDB是一个基于HBase的分布式、可伸缩的时间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息，并可实现数据的秒级查询，解决海量监控类数据在普通数据库中查询存储的局限性。
文件到OBS时失败 通过Sqoop迁移数据库数据时报错
迁移HBase索引数据 操作场景 MRS 1.7及其以后版本中使用的索引与以前MRS版本中HBase使用的二级索引都不兼容。因此，为了将索引数据从以前的版本（MRS 1.5及其以前版本）迁移到MRS 1.7及其以后版本，需要遵循以下步骤。 前提条件 迁移数据时旧版本集群应为MRS1.5
待连接Doris数据库的节点与MRS集群网络互通。 已安装MySQL客户端，相关操作可参考使用MySQL客户端连接Doris。
已获取MySQL数据库所在的IP地址，端口号，用户名及密码。
Loader算子数据处理规则 在Loader导入或导出数据的任务中，每个算子对于原始数据中NULL值、空字符串定义了不同的处理规则；在算子中无法正确处理的数据，将成为脏数据，无法导入或导出。 在转换步骤中，算子数据处理规则请参见下表。 表1 数据处理规则一览表 转换步骤 规则描述
HetuEngine提供了元数据缓存的功能，当首次访问Hive数据源的库或表时，会将该库或表的元数据信息（数据库名、表名、表字段、分区信息、权限信息等）缓存起来，后续访问时不需要再次访问Hive metastore，在Hive数据源的表数据变化不频繁的场景下，可以一定程度上提升查询的性能
使用Loader从HDFS/OBS导出数据到SFTP服务器 操作场景 该任务指导用户使用Loader将数据从HDFS/OBS导出到SFTP服务器。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取
REFRESH CATALOG 用于手动刷新HetuEngine Metastore缓存，用以同步Hive数据源的表、分区、数据库等的Metadata。
作业管理 MRS作业管理为用户提供向集群提交作业的入口，支持包括MapReduce、Spark、HQL和SparkSQL等类型的作业。 结合华为云数据治理中心DataArts Studio，提供一站式的大数据协同开发环境、全托管的大数据调度能力，帮助用户快速构建大数据处理中心。 通过数据治理中心
Hudi Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。支持多种计算引擎，提供IUD接口，在HDFS的数据集上提供了插入更新和增量拉取的功能。 如需使用Hudi，请确保MRS集群内已安装Spark/Spark2x服务
default本地表所在的数据库名称。 test为本地表名称，该例中为2中创建的表名。 （可选的）分片键（sharding key） 该键与config.xml中配置的分片权重（weight）一同决定写入分布式表时的路由，即数据最终落到哪个物理表上。
配置Kafka数据均衡工具 操作场景 该任务指导管理员根据业务需求，在客户端中执行Kafka均衡工具来均衡Kafka集群的负载，一般用于节点的退服、入服以及负载均衡的场景。 前提条件 MRS集群管理员已明确业务需求，并准备一个Kafka管理员用户（属于kafkaadmin组，普通模式不需要
以Java JDBC方式执行SQL语句在集群中dbName变量对应的数据库下创建tableName对应的表。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
