检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不负责在MRS集群上进行非标操作产生的非预期问题分析和解决,如重装操作系统、误删除数据、删除服务目录和文件、修改OS系统配置和文件权限、删除“/etc/hosts”配置、直接后台卸载磁盘、修改节点IP地址、删除创建集群时的默认安全组规则等。
":"SSL"},"endpoints":["PLAINTEXT://192.168.2.242:9092","SSL://192.168.2.242:9093"],"rack":"/default/rack0","jmx_port":21006,"host":"192.168.2.242
keystore-type JKS ssl启用后密钥存储类型。 keystore - ssl启用后密钥存储文件路径,开启ssl后,该参数必填。 keystore-password - ssl启用后密钥存储密码,开启ssl后,该参数必填。
弹性云服务器(ECS)提供的弹性可扩展虚拟机,结合VPC、安全组、EVS数据多副本等能力打造一个高效、可靠、安全的计算环境。
CDM集群所在VPC、子网、安全组,选择与MRS集群所在的网络一致。 CDM集群创建完成后,选择集群操作列的“绑定弹性IP”,CDM通过EIP访问MRS HDFS。 图2 集群列表 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。
如果该场景下需要使用非SSL安全连接,则可登录集群FusionInsight Manager,选择“集群 > 服务 > ClickHouse > 配置”,搜索“SSL_NONESSL_BOTH_ENABLE”配置,将该配置修改为“true”并重启所有ClickHouse服务实例。
与HTTP服务访问相比,以HTTPS方式访问Spark2x的JobHistory时,由于使用了SSL安全加密,需要确保curl命令所支持的SSL协议在集群中已添加支持。若不支持,可采用如下两种方案解决: 修改集群中配置的SSL协议。
security.ssl.keystore: ssl/flink.keystore security.ssl.truststore: ssl/flink.truststore 将2中生成的Jar包上传到Flink客户端节点相关目录下,例如上传至“/opt/hadoopclient”
弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器操作系统已安装NTP服务,且NTP服务运行正常。 如果未安装,在配置了yum源的情况下,可执行yum install ntp -y命令自行安装。
格式为: jdbc:postgresql://CN业务IP:端口/数据库名称 说明: 若GaussDB数据库开启SSL,URL地址需添加如下SSL相关参数:ssl=true&sslfactory=org.postgresql.ssl.NonValidatingFactory GaussDB
com.huawei.bigdata.spark.examples.ThriftServerQueriesTest $SPARK_HOME/conf/hive-site.xml $SPARK_HOME/conf/spark-defaults.conf 集群开启ZooKeeper的SSL
图2 导入依赖 (可选)如果对接的集群开启了ZooKeeper的SSL认证通信功能,则运行JDBCExampleZk和JDBCExamplePasswordZK时需要添加JVM配置参数,如下所示: -Dzookeeper.clientCnxnSocket=org.apache.zookeeper.ClientCnxnSocketNetty
- truststore 服务端的SSL证书信任列表。
记录“虚拟私有云”和“安全组”信息。 已创建CDM集群,详细操作请参考创建CDM集群。 其中“虚拟私有云”和“安全组”需要与已创建的DataArts Studio实例保持一致。
- truststore 服务端的SSL证书信任列表。
telnet Kafka业务IP Kafka业务port 如果无法telnet成功,请检查网络安全组与ACL。 通过SSH登录Kafka Broker。 通过cd /var/log/Bigdata/kafka/broker命令进入日志目录。
内存不足导致HDFS NameNode启动失败 问题背景与现象 场景一:重启HDFS服务后,HDFS的状态为Bad,且NameNode实例状态异常,并且很久没有退出安全模式。 场景二:NameNode启动时,启动超时后启动失败,原生页面无法打开。 原因分析 在NameNode运行日志
ntpdate修改时间导致HDFS出现大量丢块 问题背景与现象 用ntpdate修改了集群时间,修改时未停止集群,修改后HDFS进入安全模式,无法启动。 退出安全模式后启动,hfck检查丢了大概1 TB数据。 原因分析 查看NameNode原生页面发现有大量的块丢失。 图1 块丢失
true spark.ssl.ui.enabledAlgorithms 配置ui ssl算法。
true spark.ssl.ui.enabledAlgorithms 配置ui ssl算法。