检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过Flink作业处理OBS数据 应用场景 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅做数据计算处理的存算分离模式。 本文将向您介绍如何在MRS集群中运行Flink作业来处理OBS中存储的数据。 方案架构 Flink是一个批处理和流处理结合的统一计算框架
<database_name>.
<database_name>.
ClickHouse表字段设计 规则 不允许用字符类型存放时间或日期类数据，尤其是需要对该日期字段进行运算或者比较的时候。 不允许用字符类型存放数值类型的数据，尤其是需要对该数值字段进行运算或者比较的时候。字符串的过滤效率相对于整型或者特定时间类型有下降。 建议 不建议表中存储过多的
Hudi表索引设计规范 规则 禁止修改表索引类型。 Hudi表的索引会决定数据存储方式，随意修改索引类型会导致表中已有的存量数据与新增数据之间出现数据重复和数据准确性问题。常见的索引类型如下： 布隆索引：Spark引擎独有索引，采用bloomfiter机制，将布隆索引内容写入到Parquet
访问FlinkServer WebUI界面 操作场景 MRS集群安装Flink组件后，用户可以通过Flink的WebUI，在图形化界面进行集群连接、数据连接、流表管理和作业管理等。 该任务指导用户在MRS集群中访问Flink WebUI。第一次访问Manager和Flink WebUI
Storm与其他组件的关系 Storm，提供实时的分布式计算框架，它可以从数据源（如Kafka、TCP连接等）中获得实时消息数据，在实时平台上完成高吞吐、低延迟的实时计算，并将结果输出到消息队列或者进行持久化。Storm与其他组件的关系如图1所示： 图1 组件关系图 Storm和Streaming
FlinkSQL HBase数据表开发建议 客户端提交作业时通过with属性添加HBase配置信息 Flink客户端提交作业，如SQL client提交，在建表语句中添加如下配置： 表1 Flink作业with属性 配置 说明 'properties.hbase.rpc.protection
StreamExecutionEnvironment.getExecutionEnvironment(); //create a dataSource according to RandomDataGenerator //of course, you can create any datasource from kafka, mysql
ClickHouse分区设计 合理设置分区键，控制分区数在一千以内，分区字段使用整型。 分区part数与查询性能关系 图1 分区part数与查询性能关系图 分区建议 建议使用toYYYYMMDD（pt_d）作为分区键，pt_d是date类型。 如果业务场景需要做小时分区，使用pt_d
访问FlinkServer WebUI界面 操作场景 MRS集群安装Flink组件后，用户可以通过Flink的WebUI，在图形化界面进行集群连接、数据连接、流表管理和作业管理等。 该任务指导用户在MRS集群中访问Flink WebUI。 对系统的影响 第一次访问Manager和Flink
仅支持如下连接器： generic-jdbc-connector oracle-connector mysql-fastpath-connector false 文件名标识 （适用于MRS 3.5.0及以后版本） 文件名标识，用来生成导入的文件名。
为什么存储小文件过程中，缓存中的数据会丢失 问题 在存储小文件过程中，系统断电，缓存中的数据丢失。 回答 由于断电，当写操作完成之后，缓存中的block不会立即被写入磁盘，如果要同步地将缓存的block写入磁盘，用户需要将“客户端安装路径/HDFS/hadoop/etc/hadoop
为什么存储小文件过程中，缓存中的数据会丢失 问题 在存储小文件过程中，系统断电，缓存中的数据丢失。 回答 由于断电，当写操作完成之后，缓存中的block不会立即被写入磁盘，如果要同步地将缓存的block写入磁盘，用户需要将“客户端安装路径/HDFS/hadoop/etc/hadoop
将代码中PORT = "xxx"的“xxx”修改为Doris的MySQL协议查询连接端口，默认为29982，可登录FusionInsight Manager，选择“集群 > 服务 > Doris > 配置”，搜索“query_port”获取。
CREATE DATABASE cktest ON CLUSTER default_cluster; CREATE TABLE cktest.test2 ON CLUSTER default_cluster ( `EventDate` DateTime, `CounterID` UInt32
hudi/stream_mor', 'table.type' = 'MERGE_ON_READ', 'hive_sync.enable' = 'true', 'hive_sync.table' = '要同步到Hive的表名', 'hive_sync.db' = '要同步到Hive的数据库名
Delete轻量化删除表数据 本章节主要介绍轻量化delete删除表数据的SQL基本语法和使用说明。 本章节仅适用于MRS 3.3.0及之后版本。 基本语法 DELETE FROM [db.]table [ON CLUSTER cluster] WHERE expr 使用示例 建表
云数据迁移（Cloud Data Migration，简称CDM），是一种高效、易用的数据集成服务。
| com.huawei.bigdata.doris.example.JDBCExample.main(JDBCExample.java:41) 2023-08-17 23:13:13,885 | INFO | main | Start create database. |
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
