检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前提条件 系统管理员已明确业务需求,并准备一个Kafka管理员用户(属于kafkaadmin组)。 已安装Kafka客户端。 操作步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/kafkaclient”。
图2 新建数据库 在页面顶部选择“账号管理 > 用户管理”。 对于MRS 3.x之前版本,当用户选择的数据连接为“RDS服务MySQL数据库”时,请确保使用的数据库用户为root用户。如果为非root用户,请参考4~6新建用户并为该用户进行赋权。
开启Kerberos认证的集群默认使用SSL安全连接,默认端口为9440,并且需要携带参数--secure。 具体的端口值也可通过查询ClickHouseServer实例配置参数“tcp_port_secure”获取。
答案 generic-jdbc-connector 使用JDBC方式从Oracle数据库读取数据,适用于支持JDBC的数据库。 在这种方式下,Loader加载数据的性能受限于分区列的数据分布是否均匀。
答案 generic-jdbc-connector 使用JDBC方式从Oracle数据库读取数据,适用于支持JDBC的数据库。 在这种方式下,Loader加载数据的性能受限于分区列的数据分布是否均匀。
SSL: 当需要配置安全Flink集群时,需要配置SSL相关配置项,配置项包括SSL开关,证书,密码,加密算法等。
ALM-27005 数据库连接数使用率超过阈值 告警解释 系统每30秒周期性检查DBServer节点的数据库连接数使用率,并把实际数据库连接数使用率和阈值相比较,当数据库连接数的使用率连续5次(可配置,默认值为5)超过设定阈值时,系统将产生此告警,数据库连接数使用率的阈值设为90%
查看元数据库是否异常。 联系集群元数据库管理员查看元数据库是否有异常。 是,执行5。 否,执行6。 联系元数据库运维人员修复。元数据恢复正常后在告警列表中查看该告警是否清除。 是,处理完毕。 否,执行6。 收集故障信息。
Please input ha ssl cert password: 界面提示以下信息表示HA用户证书替换成功: [INFO] Succeed to replace ha ssl cert. 执行以下命令,重启OMS。
ClickHouse DataBase设计 业务隔离设计-各业务分库设计 在业务规划时,不同业务归属于不同数据库,便于后续对应用户关联的数据库下表、视图等数据库对象权限的分离管理和维护。
Sqoop1.4.7适配MRS 3.x集群 Sqoop是专为Apache Hadoop和结构化数据库(如关系型数据库)设计的高效传输大量数据的工具。客户需要在MRS中使用sqoop进行数据迁移,MRS旧版本中未自带Sqoop,客户可参考此文档自行安装使用。
如果集群为安全集群,可能是Flink的SSL证书配置错误,或者证书过期。 解决方法 增加队列的资源。 排除用户jar包中的Flink和Hadoop依赖,依赖环境中的jar包。 重新配置Flink的SSL证书,可参考从零开始使用Flink。 父主题: 作业管理类
操作步骤 使用MySQL客户端连接Doris数据库时,在命令中新增“--enable-cleartext-plugin”,命令如下: mysql --enable-cleartext-plugin -u数据库登录用户 -p数据库登录用户密码 -P数据库连接端口 -hDoris FE
MRS可以做什么? 问: MapReduce Service(MRS)可以做什么? 答: MapReduce服务(MapReduce Service)为客户提供ClickHouse、Spark、Flink、Kafka、HBase等Hadoop生态的高性能大数据引擎,支持数据湖、数据仓库
HDFS读文件失败报错“No common protection layer” 问题背景与现象 shell客户端或者其他客户端操作HDFS失败,报“No common protection layer between client and server”。
“SSL_EXPLICIT”:显式SSL协议。 “SSL_IMPLICIT”:隐式SSL协议。 “TLS_EXPLICIT”:显式TLS协议。 “TLS_IMPLICIT”:隐式TLS协议。 不指定参数值,默认为FTP协议。
签发Flink证书样例 将该样例代码生成generate_keystore.sh脚本,放置在Flink客户端的bin目录下。 #!
选择“连接管理 > 新增连接”,进入“新增连接”参数配置窗口,参考下表,分别新增“thirdparty-kafka”、“hudi”连接,相关数据连接参数介绍请参见创建CDL数据库连接。
修改系统内部用户密码 修改默认数据库用户密码 证书更新 MRS集群的CA证书与HA证书均支持更换,如果用户需要将集群默认的证书更换成新的证书,可参考如下指导: CA证书用于组件客户端与服务端在通信过程中加密数据,实现安全通信。具体更换操作指导请参见更换CA证书。
1G 父主题: Spark运维管理