检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该操作流程和UPSERT基本一致，但是不需要通过索引去查询具体更新的文件分区，因此它的速度比UPSERT快。当数据源不包含更新数据时建议使用该操作，若数据源中存在更新数据，则在数据湖中会出现重复数据。 BULK_INSERT（批量插入）：用于初始数据集加载， 该操作会对主键进行排序后直接以
确保用户已授权访问作业执行时操作的HBase表或phoenix表。 检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从HDFS/OBS导入数据时，确保HDFS/OBS输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的作业
Manager创建备份HBase任务并备份数据。支持创建任务自动或手动备份数据。 HBase备份业务数据时，可能存在以下场景： 用户创建HBase表时，“KEEP_DELETED_CELLS”属性默认值为“false”，备份该HBase表时会将已经删除的数据备份，可能导致恢复后出现垃圾数据。请根据业务需要
INSERT INTO插入表数据 本章节主要介绍ClickHouse插入表数据的SQL基本语法和使用说明。 基本语法 方法一：标准格式插入数据。 INSERT INTO [database_name.]table [(c1, c2, c3)] VALUES (v11, v12, v13)
为提升查询性能，创建二级索引或者删除二级索引。 请参见创建HBase表二级索引和基于二级索引查询HBase表数据。 7 用户销户，删除用户信息表中该用户的数据。 请参见删除HBase表数据。 8 A业务结束后，删除用户信息表。 请参见删除HBase表。 父主题： HBase数据读写样例程序
为提升查询性能，创建二级索引或者删除二级索引。 请参见创建HBase表二级索引和基于二级索引查询HBase表数据。 7 用户销户，删除用户信息表中该用户的数据。 请参见删除HBase表数据。 8 A业务结束后，删除用户信息表。 请参见删除HBase表。 父主题： HBase数据读写样例程序
配置Hive读取关系型数据库数据 操作场景 Hive支持创建与其他关系型数据库关联的外表。该外表可以从关联到的关系型数据库中读取数据，并与Hive的其他表进行Join操作。 目前支持使用Hive读取数据的关系型数据库如下： DB2 Oracle 本章节适用于MRS 3.x及后续版本。
Phoenix BulkLoad Tool使用限制说明 问题 当更新索引字段数据时，如果用户表已经存在一批数据，则BulkLoad工具不能更新全局和局部可变索引。 回答 问题分析 创建表。 CREATE TABLE TEST_TABLE( DATE varchar not null
INSERT INTO插入表数据 本章节主要介绍ClickHouse插入表数据的SQL基本语法和使用说明。 基本语法 方法一：标准格式插入数据。 INSERT INTO [database_name.]table [(c1, c2, c3)] VALUES (v11, v12, v13)
Channel的磁盘空间使用量有继续增长的趋势，将会使数据导入到指定目的地的时间增长，当Flume Channel的磁盘空间使用量达到100%时会导致Flume Agent进程暂停工作。 可能原因 Flume Sink故障，导致数据无法发送。 网络故障，导致数据无法发送。 处理步骤
ClickHouse 导入前清理数据 导入前清空原表的数据。“True”为执行清空，“False”为不执行。不配置此参数则默认不执行清空。 说明： 如果导入的表为ClickHouse分布式表，且需要清理数据时，请在导入前手动删除ClickHouse分布式表对应的本地表中的数据。 false Map数
产生告警的主机名。 对系统的影响 OMS数据库主备不同步会导致主数据库上的数据无法正常同步至备数据库，在告警上报时间段若主实例异常可能会导致用户业务数据丢失或者Manager页面数据显示异常。 可能原因 主备节点网络不稳定。 备OMS数据库异常。 备节点磁盘空间满。 处理步骤 检查主备节点网络是否正常。
Phoenix BulkLoad Tool使用限制说明 问题 当更新索引字段数据时，若用户表已经存在一批数据，则BulkLoad工具不能更新全局和局部可变索引。 回答 问题分析 创建表。 CREATE TABLE TEST_TABLE( DATE varchar not null
CDL仅支持抓取非系统表下的增量数据，MySQL、PostgreSQL等数据库的内置数据库不支持抓取增量数据。 从Hudi同步数据到DWS或ClickHouse任务中，在Hudi中物理删除的数据目的端不会同步删除。例如，在Hudi中执行delete from tableName命令硬删除表数据，目的端D
配置NameNode内存参数 配置场景 在HDFS中，每个文件对象都需要在NameNode中注册相应的信息，并占用一定的存储空间。随着文件数的增加，当原有的内存空间无法存储相应的信息时，需要修改内存大小的设置。 配置描述 参数入口： 请参考修改集群服务配置参数，进入HDFS“全部配置”页面。
数据迁移方案介绍 准备工作 元数据导出 数据复制 数据恢复 父主题： 数据迁移
Presto简介 Presto是一种开源、分布式SQL查询引擎，用于对千兆字节至PB级大小的数据源进行交互式分析查询。 Presto主要特点如下： 多数据源：Presto可以支持Mysql，Hive，JMX等多种Connector。 支持SQL：Presto完全支持ANSI SQL，用户可以直接使用SQL
字段将显示为空，在回显状态下需要将密码信息补齐后再提交作业。 表1 FlinkSQL与ClickHouse数据类型对应关系 FlinkSQL数据类型 ClickHouse数据类型 BOOLEAN UInt8 TINYINT Int8 SMALLINT Int16 INTEGER Int32
USING： 源表查询语句。 ON：源表和目标表匹配的条件。 WHEN： 数据更新条件。 insert into ... select ...;语法中不支持可空字段类型的数据插入到非空字段类型。 使用示例 向表中插入数据： INSERT INTO prod.db.table VALUES
在“数据配置”中的“备份数据”列根据业务需要勾选一个或多个需要恢复的已备份数据，并在“目标名称空间”列，指定备份数据恢复的命名空间。 “目标名称空间”建议选择一个备份命名空间不同的位置。 在“强制覆盖”选择“true”，表示存在同名数据表时强制恢复备份的所有数据，如果数据表中存
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
