检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
USING： 源表查询语句。 ON：源表和目标表匹配的条件。 WHEN： 数据更新条件。 insert into ... select ...;语法中不支持可空字段类型的数据插入到非空字段类型。 使用示例 向表中插入数据： INSERT INTO prod.db.table VALUES
使用Loader从关系型数据库导入数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。
接收块中的元数据（Metadata）被发送到Driver的StreamingContext。这个元数据包括： 定位其在Executor内存中数据位置的块Reference ID。 若启用了WAL，还包括块数据在日志中的偏移信息。 处理数据（红色箭头） 对每个批次的数据，Strea
map 是 无 数据处理规则 当配置HBase表名不存在时，作业提交失败。 当配置的列名与HBase表列名不匹配时，读取不到数据，导入数据条数会为0。 配置输入字段列数，大于原始数据实际包含字段列数，全部数据成为脏数据。 当字段的值与实际的类型不匹配时，该行数据会成为脏数据。 样例 以
列数，全部数据成为脏数据。 配置转换字段类型，与原始数据实际类型不同，全部数据成为脏数据。例如将字符串类型转换为数值类型。 HBase输入 原始数据包含NULL值，不做转换处理。 配置HBase表名错误，全部数据成为脏数据。 “主键”没有配置主键列，全部数据成为脏数据。 配置输入
park、Flink、Kafka、HBase等Hadoop生态的高性能大数据引擎，支持数据湖、数据仓库、BI、AI融合等能力，完全兼容开源，快速帮助客户上云构建低成本、灵活开放、安全可靠、全栈式的云原生大数据平台，满足客户业务快速增长和敏捷创新诉求。 父主题： 产品咨询类
配置时间字段格式，时间格式如：“yyyyMMdd HH:mm:ss”。 string 否 无 数据处理规则 原始数据包含null值，不做转换处理。 配置输入字段列数，大于原始数据实际包含字段列数，全部数据成为脏数据。 遇到类型转换错误，当前数据保存为脏数据。 样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下图：
配置时间字段格式，时间格式如：“yyyyMMdd HH:mm:ss”。 string 否 无 数据处理规则 原始数据包含null值，不做转换处理。 配置输入字段列数，大于原始数据实际包含字段列数，全部数据成为脏数据。 遇到类型转换错误，当前数据保存为脏数据。 样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下图：
在实例“首页”即可单击“新建数据库”创建新的数据库。 如果没有创建新的数据库，会导致MRS配置数据连接失败。 图5 新建数据库 在页面顶部选择“账号管理 > 用户管理”。 对于MRS 3.x之前版本，当用户选择的数据连接为“RDS服务MySQL数据库”时，请确保使用的数据库用户为root用
产生告警的主机名。 对系统的影响 Hive默认数据仓库被删除，会导致在默认数据仓库中创建库、创建表失败，影响业务正常使用。 可能原因 Hive定时查看默认数据仓库的状态，发现Hive默认数据仓库被删除。 处理步骤 检查Hive默认数据仓库。 以root用户登录客户端所在节点，用户
HBase数据操作 创建HBase索引进行数据查询 配置HBase数据压缩格式和编码 父主题： 使用HBase
Manager创建恢复HBase任务并恢复数据。只支持创建任务手动恢复数据。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HBase数据。 对系统的影响 恢复过程的数据还原阶段，系
Doris数据导入 使用Broker Load方式导入数据至Doris 使用Broker Load方式导入OBS数据至Doris 使用Stream Load方式导入数据至Doris 父主题： 使用Doris
HBase数据操作 创建HBase索引进行数据查询 配置HBase数据压缩格式和编码 父主题： 使用HBase
图4 源端集群数据记录 图5 目的端集群数据记录 （可选）如果源端集群中有新增数据需要定期将新增数据迁移至目的端集群，则根据数据新增方式进行不同方式的迁移。配置定期任务增量迁移数据，直到所有业务迁移至目的端集群。 Hive表数据修改、未新增删除表、未修改已有表的数据结构：此时Hi
手动恢复数据。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复Flink元数据，建议手动备份最新Flink元数据后，再执行恢复Flink元数据操作。否则会丢失从备份时刻到恢复时刻之间的Flink元数据。 Flink元数据恢复和业务数据恢复不能
支持两种方式选择备份数据： 添加备份数据文件 单击导航中某个数据库的名称，将展开显示此数据库中的所有表，勾选指定的表。 MRS 3.2.0及之后版本： 单击“添加”。 在“文件目录”框内选择要备份的表，单击“添加”添加到“备份文件”框内。 单击“确定”添加备份数据文件。 正则表达式筛选
均衡Kafka扩容节点后数据 操作场景 用户可以在Kafka扩容节点后，在客户端中执行Kafka均衡工具来均衡Kafka集群的负载。 本章节内容适用于MRS 3.x之前版本。3.x及之后版本请参考配置Kafka数据均衡工具。 前提条件 MRS集群管理员已明确业务需求，并准备一个K
径”参数，值为保存备份数据的OBS目录。 在“最大恢复点个数”填写备份任务在本集群中备份可保留的快照数量。 在“备份内容”中，选择一个或多个需要备份的Doris表。 支持两种方式选择备份数据： 添加备份数据文件 单击导航中某个数据库的名称，将展开显示此数据库中的所有表，勾选指定的表。
备份Flink元数据 操作场景 为了确保Flink集群中的元数据安全，或者系统管理员需要对Flink进行重大操作（如升级或迁移等）时，需要对Flink集群的元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
