检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提升HBase实时写数据效率 操作场景 需要把数据实时写入到HBase中或者对于大批量、连续Put的场景。 前提条件 调用HBase的put或delete接口，把数据保存到HBase中。 操作步骤 写数据服务端调优 参数入口：登录FusionInsight Manager，选择“集群
导入Doris 离线数据加载：通过Broker Load将ORC格式的Hive数据导入Doris 实时数据加载：通过FlinkSQL将订单表Kafka数据实时同步到Doris 实时OLAP数据查询：基于Unique表的单表检索查询和聚合查询 父主题： 周边云服务对接
实时数据加载：通过FlinkSQL将订单表Kafka数据实时同步到Doris 应用场景 创建MRS FlinkServer作业，将订单表Kafka数据通过FlinkSQL实时同步到Doris，数据新增。 方案架构 对实时性要求较高的场景，可直接将实时流式数据通过FlinkSQL传
提升HBase实时读数据效率 操作场景 需要提升读取HBase数据性能的场景。 前提条件 调用HBase的get或scan接口，从HBase中实时读取数据。 操作步骤 读数据服务端调优 参数入口：登录FusionInsight Manager，选择“集群 > 服务 > 配置 >
提升HBase实时写数据效率 操作场景 需要把数据实时写入到HBase中或者对于大批量、连续put的场景。 本章节适用于MRS 3.x及之后版本。 前提条件 调用HBase的put或delete接口，把数据保存到HBase中。 操作步骤 写数据服务端调优 参数入口：登录FusionInsight
提升HBase实时读数据效率 操作场景 需要读取HBase数据场景。 前提条件 调用HBase的get或scan接口，从HBase中实时读取数据。 操作步骤 读数据服务端调优 参数入口：登录FusionInsight Manager，选择“集群 > 服务 > HBase > 配置
库数据，或者实时采集的流式数据等。 大数据平台：实时OLAP的核心数据处理平台，包含离线数据加工、实时数据加工、实时OLAP等模块。 实时消息管道：用于接收实时流式数据，作为实时数据接入的统一管道，对应大数据组件MRS-Kafka。 实时流处理引擎：从Kafka实时读取数据并进行
实时OLAP数据查询：基于Unique表的单表检索查询和聚合查询 应用场景 本场景通过基于Unique模型表查询符合条件的数据。基于Unique模型表聚合查询，支持MIN，MAX，SUM，REPLACE四种聚合算法。 方案架构 Doris支持海量数据的亚秒级查询，支持单表数据的聚
实时任务接入 实时作业一般由Flink Sql或Sparkstreaming来完成，流式实时任务通常配置同步生成compaction计划，异步执行计划。 Flink SQL作业中sink端Hudi表相关配置如下： create table denza_hudi_sink ( $H
Storm与其他组件的关系 Storm，提供实时的分布式计算框架，它可以从数据源（如Kafka、TCP连接等）中获得实时消息数据，在实时平台上完成高吞吐、低延迟的实时计算，并将结果输出到消息队列或者进行持久化。Storm与其他组件的关系如图1所示： 图1 组件关系图 Storm和Streaming的关系
from example_db.lineorder_stream_u; 例如查询结果如下，查询数据成功，且符合预期，表示导入成功。 父主题： 实时OLAP
select * from wxk.lineorder_orc02; 例如执行后结果如下，数据写入Doris成功，且数据符合预期结果。 父主题： 实时OLAP
添加MRS节点引导操作安装第三方软件 引导操作安装第三方软件前提条件 已参考准备MRS节点引导操作脚本准备好引导操作脚本。 创建集群时添加引导操作 进入购买MRS集群页面。 在购买集群页面，选择“自定义购买”。 参考自定义购买MRS集群配置集群软件配置和硬件配置信息。 在“高级配
wxk.lineorder02 例如执行后结果如下，数据写入Doris成功，且按照UNIQUE KEY指定字段自动去除重复数据。 父主题： 实时OLAP
lineorder_noid; 例如执行后结果如下，MySQL数据写入Doris成功，且按照UNIQUE KEY指定字段自动去除重复数据。 父主题： 实时OLAP
lineorder_brokerload_u 可以查看到MySQL数据导入Doris成功，且根据UNIQUE KEY指定字段自动去重 父主题： 实时OLAP
CDL数据集成概述 CDL是一种简单、高效的数据实时集成服务，能够从各种OLTP数据库中抓取Data Change事件，然后推送至Kafka中，最后由Sink Connector消费Topic中的数据并导入到大数据生态软件应用中，从而实现数据的实时入湖。 CDL服务包含了两个重要的角色：
后写入的数据。 hive表数据共20行，其中10行数据对应Doris的unique字段重复： Doris的unique表数据： 父主题： 实时OLAP
成大宽表后，通过CDL/Loader工具实时同步到ClickHouse，下游BI工具和应用进行实时OLAP分析。 数据加工 建议使用Hive/Spark进行数据批量加工，FilkSQL进行数据增量加工。 数据入库 建议使用CDL（增量实时同步）和Loader（批量同步）工具进行数
即当客户端为一种模式的配置时，会导致在另一种模式下提交任务失败。 为避免出现如上情况，添加表1中的配置项，避免两种模式下来回切换参数，提升软件易用性。 YARN-Cluster模式下，优先使用新增配置项的值，即服务端路径和参数。 YARN-Client模式下，直接使用原有的三个配置项的值。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
