检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图3 集群列表 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 步骤3:创建MySQL连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面。
加密目录不支持备份恢复。 前提条件 如果数据要备份至远端HDFS中,需满足以下条件: 需要准备一个用于备份数据的备集群,认证模式需要与主集群相同。
Hive对接外置自建关系型数据库 本实践介绍如何使用Hive对接开源MySQL和Postgres数据库。 在已有Hive数据的集群上外置元数据库后,之前的元数据表不会自动同步。
使用Ranger、Sentry或组件开源的权限能力进行权限控制。
Kafka开源特性 可靠性 提供At-Least Once,At-Most Once,Exactly Once消息可靠传递。消息被处理的状态是在Consumer端维护,需要结合应用层实现Exactly Once。 高吞吐 同时为发布和订阅提供高吞吐量。
如果需要配置SSL,truststore.jks文件生成方式可参考“Kafka开发指南 > 客户端SSL加密功能使用说明”章节。
配置参数 开源默认端口 定制默认端口 端口说明 interserver_http_port 9009 9009 用于在ClickHouse server间通信的http端口。
clickhouse client --host ClickHouse的实例IP --user 1中添加的用户 --password --port 9440 --secure MRS 3.2.0-LTS及之前版本:普通模式的用户为默认的default用户,或者使用ClickHouse社区开源能力添加管理用户
用户也可以使用MySQL连接软件或者在Doris WebUI界面连接数据库。 创建Resource。
用户也可以使用MySQL连接软件或者Doris WebUI界面连接数据库。
表1 软件配置 参数项 参数说明 取值 区域 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 华北-北京四 计费模式 MRS提供两种计费模式: 包年/包月 按需计费 选择“按需计费”时,可能需要冻结一定的保证金。
Kerberos认证: clickhouse client --host ClickHouse的实例IP --user 用户名 --password --port 9440 --secure 输入用户密码 普通模式的用户为默认的default用户,或者使用 ClickHouse社区开源能力添加管理用户
调度器介绍 多租户根据调度器类型分为开源的Capacity调度器和增强型Superior调度器,MRS集群默认即启用了Superior调度器。 Capacity调度器为开源的容量调节器。
如果通过开源镜像站方式获取的样例工程代码,在配置好Maven后, 相关依赖jar包将自动下载,不需手动添加。 当样例代码使用其他FusionInsight组件时,例如Kafka等,请去对应FusionInsight组件的服务端安装目录查找并添加依赖包。
它的最大亮点是流处理,是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理(Data Processing)场景:高并发pipeline处理数据,时延毫秒级,且兼具可靠性。
用户也可以使用MySQL连接软件或者在Doris WebUI界面连接数据库。
brokerHosts = new ZKHosts("192.168.234.231:2181"); Consumer API zookeeper.connect="192.168.234.231:2181" MRS中Kafka在ZooKeeper存储的ZNode是以/kafka为根路径,有别于开源
如果需要配置SSL,truststore.jks文件生成方式可参考“Kafka开发指南 > 客户端SSL加密功能使用说明”章节。 执行本样例工程,需配置“allow.everyone.if.no.acl.found”为“true”,详情请参考配置对接Kafka。
获取样例工程 通过开源镜像站获取样例工程。 下载样例工程的Maven工程源码和配置文件,并在本地配置好相关开发工具,可参考通过开源镜像站获取样例工程。 根据集群版本选择对应的分支,下载并获取MRS相关样例工程。
外置维度表:将维度数据存在高速的K-V数据库中,通过远程的K-V查询实现点查关联,常用的开源K-V库有HBase。 状态维度表:将维度表数据当做流表,实时读入到流式作业当中,通过数据的回撤流能力实现维度更新和数据不对齐场景下的数据一致性保证。