检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
禁止手动删除或修改存储目录下的数据块,否则可能会造成数据块丢失。 NameNode和JournalNode存在类似的配置项,也同样禁止删除原有存储目录,禁止手动删除或修改存储目录下的数据块。
加载数据到Hive表中 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。
通过on cluster语句在集群中创建表1中以databaseName参数值为数据库名的数据库。
向Phoenix表中写入数据 功能简介 使用Phoenix实现写数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testPut方法中。
创建CDL数据比较任务作业 操作场景 数据比对即是对源端数据库中的数据和目标端Hive中的数据作数据一致性校验,如果数据不一致,CDL可以尝试修复不一致的数据。 当前数据对比任务支持手动全量任务比对。数据比对任务采用On Yarn的运行形态,比对结果会上传到HDFS目录。
ClickHouse数据分布设计 Shard和副本概念介绍 图1 ClickHouse集群架构图 从横向来看ClickHouse数据库集群,所有数据都会平均分布到多个shard分片中进行保存,数据平均分布后,保证了查询的高度并行性,以提升数据的查询性能。
Hudi数据集执行Hive同步,但配置的hive_sync数据库不存在时发生。
调整Hudi数据源性能 本章节适用于MRS 3.3.1及以后版本。 HetuEngine具备高速访问Hive、Hudi等数据源的能力。对于Hudi数据源调优,可以分为对Hudi表本身和对集群环境的调优。
配置LakeFormation数据连接 LakeFormation概述 配置LakeFormation数据连接前准备 创建集群时配置LakeFormation数据连接 父主题: 管理MRS集群元数据
加载数据到Hive表中 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。
创建ClickHouse数据库 本章节介绍创建ClickHouse数据库样例代码。 通过on cluster语句在集群中创建表1中以databaseName参数值为数据库名的数据库。
根据使用场景删除如下自定义配置并保存。
期望不同key对应的数据能分到不同的partition,实际上却只有2000个partition里有数据,不同key对应的数据也被分到相同的partition里。 回答 这是正常现象。
采集数据时报错HoodieKeyException 问题 创建Hudi表时,是否可以使用包含空记录的可空字段作为主键? 回答 不可以。
向Doris表中插入数据 本章节介绍向Doris表中插入数据样例代码。 以下代码片段在“JDBCExample”类中。 以Java JDBC方式执行SQL语句在集群的dbName.tableName表中插入数据。
Flume数据写入组件失败 问题现象 Flume进程启动后,Flume数据无法写入到对应组件(本示例以服务端写入到HDFS为例)。 原因分析 HDFS未启动或故障。
删除 删除时间序列: delete timeseries root.ln.wf01.wt01.status; 删除数据: delete from root.ln.wf02.wt02.status where time < 10; DELETE_STORAGE_GROUP 删除存储组
写入更新数据时报错Parquet/Avro schema 问题 数据写入时报错: org.apache.parquet.io.InvalidRecordException: Parquet/Avro schema mismatch: Avro field 'col1' not found
COW的Archive可以在写数据时自动判断是否执行。 父主题: Hudi数据表管理操作规范
期望不同key对应的数据能分到不同的partition,实际上却只有2000个partition里有数据,不同key对应的数据也被分到相同的partition里。 回答 这是正常现象。