检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
鉴权日志 kafka-authorizer.log Kafka开源自带鉴权插件运行日志。 此日志统一归档在“/var/log/Bigdata/audit/kafka/kafkaui”目录下。 ranger-authorizer.log Ranger鉴权插件运行日志。
排查LdapServer节点是否故障,例如业务IP不可达、网络延时过长等;若故障为阶段性,则需在故障时排查,并尝试执行top命令查看是否存在异常软件。 检查是否NodeAgent进程内存不足。 以root用户登录故障节点,执行以下命令查看NodeAgent进程日志。
ClickHouse开源回合:解决分区中存在两个相同parts内部错误问题。 ClickHouse开源回合:修复带有稀疏列参数的函数元组carsh问题。 解决ClickHouse滚动重启表短暂只读的问题。 解决ClickHouse Balancer实例部分日志不回滚的问题。
如果需要配置SSL,truststore.jks文件生成方式可参考“Kafka开发指南 > 客户端SSL加密功能使用说明”章节。
约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 encrypt_type Integer 参数解释: 加密类型。
步骤2:准备应用程序 通过开源镜像站获取样例工程。 下载样例工程的Maven工程源码和配置文件,并在本地配置好相关开发工具,可参考通过开源镜像站获取样例工程。 根据集群版本选择对应的分支,下载并获取MRS相关样例工程。
ssl false 是否使用SSL加密。设置为true时还必须指定“密钥(keystore)”和“密钥存储密码(keystore-password)”。 keystore-type JKS SSL启用后密钥存储类型。
开源支持spark standalone模式提交,但不推荐使用,该模式资源使用率低,并且使用HTTP,可能存在安全风险。 (可选)在bin目录下调用spark-sql或spark-beeline脚本后便可直接输入SQL语句执行查询等操作。
“examples”文件夹:可获取开源样例jar包。 在导入样例工程之前,IntelliJ IDEA需要进行配置JDK。 打开IntelliJ IDEA,单击“Configure”下拉按钮。
鉴权日志 kafka-authorizer.log Kafka开源自带鉴权插件运行日志。 此日志统一归档在“/var/log/Bigdata/audit/kafka/kafkaui”目录下。 ranger-authorizer.log Ranger鉴权插件运行日志。
如果需要配置SSL,truststore.jks文件生成方式可参考“Kafka开发指南 > 客户端SSL加密功能使用说明”章节。 执行本样例工程,需配置“allow.everyone.if.no.acl.found”为“true”,详情请参考配置对接Kafka。
加密目录不支持备份恢复。 前提条件 如果数据要备份至远端HDFS中,需满足以下条件: 需要准备一个用于备份数据的备集群,认证模式需要与主集群相同。
在购买包含有Task类型节点组件的集群时,参考自定义购买MRS集群配置集群软件配置和硬件配置信息后,在“高级配置”页签的弹性伸缩栏,打开对应Task节点类型后的开关按钮,即可进行弹性伸缩规则及资源计划的配置或修改。
Hive对接外置自建关系型数据库 本实践介绍如何使用Hive对接开源MySQL和Postgres数据库。 在已有Hive数据的集群上外置元数据库后,之前的元数据表不会自动同步。
Kafka开源特性 可靠性 提供At-Least Once,At-Most Once,Exactly Once消息可靠传递。消息被处理的状态是在Consumer端维护,需要结合应用层实现Exactly Once。 高吞吐 同时为发布和订阅提供高吞吐量。
使用Ranger、Sentry或组件开源的权限能力进行权限控制。
用户也可以使用MySQL连接软件或者Doris WebUI界面连接数据库。
图3 集群列表 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 步骤3:创建MySQL连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面。
用户也可以使用MySQL连接软件或者在Doris WebUI界面连接数据库。 创建Resource。
clickhouse client --host ClickHouse的实例IP --user 1中添加的用户 --password --port 9440 --secure MRS 3.2.0-LTS及之前版本:普通模式的用户为默认的default用户,或者使用ClickHouse社区开源能力添加管理用户