检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark同步HBase数据到CarbonData开发思路 场景说明 数据实时写入HBase，用于点查业务，数据每隔一段时间批量同步到CarbonData表中，用于分析型查询业务。 数据规划 运行样例程序前，需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark
“ /opt/” ）下。 数据规划 创建HBase表，构造数据，列需要包含key，modify_time，valid。其中每条数据key值全表唯一，modify_time代表修改时间，valid代表是否为有效数据（该样例中'1'为有效，'0'为无效数据）。 示例：进入hbase shell，执行如下命令：
删除HBase表数据 功能简介 HBase通过Table实例的delete方法来Delete数据，可以是一行数据也可以是数据集。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testDelete方法中。
删除HBase表数据 功能简介 HBase通过Table实例的delete方法来Delete数据，可以是一行数据也可以是数据集。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testDelete方法中
FlinkSQL HBase数据表开发建议 客户端提交作业时通过with属性添加HBase配置信息 Flink客户端提交作业，如SQL client提交，在建表语句中添加如下配置： 表1 Flink作业with属性 配置 说明 'properties.hbase.rpc.protection'
FlinkSQL HBase数据表开发规则 提前在HBase中创建表 Flink作业在HBase中找不到对应表会报错，所以需要提前在HBase中创建好对应的表。 HBase与Flink不在同一集群时只支持Flink和HBase均为普通模式集群的对接 当HBase与Flink为同一
读取Phoenix表数据 功能简介 使用Phoenix实现读数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testSelect方法中。 /** * Select Data */
读取Phoenix表数据 功能简介 使用Phoenix实现读数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testSelect方法中。 /** * Select Data */
结合华为云数据治理中心DataArts Studio，提供一站式的大数据协同开发环境、全托管的大数据调度能力，帮助用户快速构建大数据处理中心。 通过数据治理中心DataArts Studio，用户可以先在线开发调试MRS HQL/SparkSQL脚本、拖拽式地开发MRS作业，完
删除HBase表数据 功能简介 HBase通过Table实例的delete方法来Delete数据，可以是一行数据也可以是数据集。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testDelete方法中。
创建FlinkServer作业写入数据至ClickHouse表 本章节适用于MRS 3.1.2及之后的版本。 操作场景 Flink通过对接ClickHouse的ClickHouseBalancer实例进行读写，有效避免ClickHouse流量分发问题。FlinkSQL与ClickHouse数据类型对应关系如下表所示。
查询ClickHouse数据 本章节介绍查询ClickHouse数据样例代码。 查询语句1：querySql1查询创建ClickHouse表创建的tableName表中任意10条数据；查询语句2：querySql2通过内置函数对创建ClickHouse表创建的tableName表中的日期字段取年月后进行聚合。
插入ClickHouse数据 本章节介绍插入ClickHouse数据样例代码。 创建ClickHouse表创建的表具有三个字段，分别是String、UInt8和Date类型。 示例代片段参考如下： String insertSql = "insert into " + databaseName
插入ClickHouse数据 本章节介绍插入ClickHouse数据样例代码。 创建ClickHouse表创建的表具有三个字段，分别是String、UInt8和Date类型。 示例代片段参考如下： String insertSql = "insert into " + databaseName
in时候，需要在前面添加Global关键字，避免查询放大问题。 数据查询建议 建议查询指定分区 通过指定分区字段会减少底层数据库扫描的文件数量，提升查询性能，实际经验：700个分区的千列大表，需要查询一个分区中有7000万数据，其他699个分区中无数据，虽然只有一个分区有数据，其他分区无数据，但是查询指定分区为百毫秒
删除HBase表数据 功能简介 HBase通过Table实例的delete方法来Delete数据，可以是一行数据也可以是数据集。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseSample”类的testDelete方法中
Doris数据变更规范 该章节主要介绍Doris数据变更时需遵循的规则和建议。 Doris数据变更规则 应用程序不能直接使用delete或者update语句变更数据，可以使用CDC的upsert方式来实现。 不建议业务高峰期或在表上频繁地进行加减字段，建议在业务前期规划建表时预留
读取Phoenix表数据 功能简介 使用Phoenix实现读数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testSelect方法中。 /** * Select Data */
查询ClickHouse数据 本章节介绍查询ClickHouse数据样例代码。 查询语句1：querySql1查询创建ClickHouse表创建的tableName表中任意10条数据；查询语句2：querySql2通过内置函数对创建ClickHouse表创建的tableName表中的日期字段取年月后进行聚合。
GB以内的数据量、Brokerload适合百GB以内数据，数据过大时可考虑使用SparkLoad。 禁止使用Doris的Routine Load进行导入数据操作，推荐使用Flink查询Kafka数据再写入Doris，更容易控制导入数据单批次数据量，避免大量小文件产生。如果确实已经使用了Routine
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
