检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
JDK:支持1.8版本;IBM JDK:支持1.8.5.11版本。 TaiShan客户端:OpenJDK:支持1.8.0_272版本。 说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。 IBM JDK默认只支持TLS V1.0,若使用IBM JDK,请配置启动参数“com
前提条件 如果需要从远端HDFS恢复数据,需要准备备集群,且已完成数据备份,详细操作请参见备份ClickHouse业务数据。如果主备集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置MRS集群间互信。如果主备集群部署为普通模式,则不需要配置互信。
以root用户登录安装HDFS客户端的服务器,执行以下命令配置环境变量。 source HDFS客户端安装目录/bigdata_env 如果集群为安全模式,执行以下命令认证用户身份。 kinit hdfs 在HDFS客户端执行以下命令,检查HDFS根目录下全部目录和文件是否状态正常。 hdfs
换到客户端安装目录。 cd /opt/client 执行以下命令,配置环境变量。 source bigdata_env 认证或指定用户。 安全模式集群:执行以下命令认证用户 kinit HetuEngine组件操作用户 例如: kinit hetu_test 根据提示输入用户密码,首次登录需重置密码。
如“/opt/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit HetuEngine用户 根据回显提示输入密码。 执行如下命令
参与;同时支持用户在集群中运行自定义内容;支持快速创建多应用场景集群,比如创建Hadoop分析集群、HBase集群、Kafka集群。大数据平台同时支持部署异构集群,在集群中存在不同规格的虚机,允许CPU类型,硬盘容量,硬盘类型,内存大小灵活组合。在集群中支持多种虚机规格混合使用。
实时OLAP场景化方案 数据源:业务系统产生的数据,可以是离线的文件数据,关系型数据库数据,或者实时采集的流式数据等。 大数据平台:实时OLAP的核心数据处理平台,包含离线数据加工、实时数据加工、实时OLAP等模块。 实时消息管道:用于接收实时流式数据,作为实时数据接入的统一管道,对应大数据组件MRS-Kafka。
args) throws Exception { // 设置拓扑配置 Config conf = new Config(); // 配置安全插件 //setSecurityPlugin(conf); if (args.length >= 2) { // 用户更改了默认的key
以root用户登录安装HDFS客户端的服务器,执行以下命令配置环境变量。 source HDFS客户端安装目录/bigdata_env 如果集群为安全模式,执行以下命令认证用户身份。 kinit hdfs 在HDFS客户端执行以下命令,检查HDFS根目录下全部目录和文件是否状态正常。 hdfs
关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择“cdm.medium”即可,满足大部分迁移场景。 CDM集群所在VPC、子网、安全组,选择与MRS集群所在的网络一致。 CDM集群创建完成后,选择集群操作列的“绑定弹性IP”,CDM通过EIP访问MRS HDFS。 图2
Master节点,执行如下命令进入Doris数据库。 export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 (若集群已启用Kerberos认证(安全模式)需执行该命令) mysql -u数据库登录用户 -p数据库登录用户密码 -P数据库连接端口 -hDoris FE实例IP地址 数据库连接端口为Doris
查询集群分片信息操作: 以客户端安装用户,登录安装客户端的节点,执行命令: cd {客户端安装目录} source bigdata_env 安全模式: kinit ClickHouse组件业务用户 clickhouse client --host ClickHouse的实例IP --port
产生告警的主机名。 对系统的影响 告警长期存在时,会导致Manager频繁主备倒换,用户无法正常登录FusionInsight Manager平台,无法进行正常运维操作。 cep进程持续重启,导致告警上报时间段监控数据采集异常,严重时可导致告警上报时间段监控数据丢失。 可能原因 cep进程异常。
产生告警的主机名。 对系统的影响 告警长期存在时,会导致Manager频繁主备倒换,用户无法正常登录FusionInsight Manager平台,无法进行正常运维操作。 fms进程持续重启,导致告警上报时间段告警数据上报异常,严重时可导致告警上报时间段告警数据上报和恢复失败。 可能原因
产生告警的主机名。 对系统的影响 告警长期存在时,会导致Manager频繁主备倒换,用户无法正常登录FusionInsight Manager平台,无法进行正常运维操作。 controller进程持续重启,可能引起无法访问服务原生UI界面。 可能原因 controller进程异常。 处理步骤
产生告警的主机名 对系统的影响 告警长期存在时,会导致Manager频繁主备倒换,用户无法正常登录FusionInsight Manager平台,无法进行正常运维操作。 pms进程持续重启,导致告警上报时间段监控数据采集异常,严重时可导致告警上报时间段监控数据丢失。 可能原因 pms进程异常。
产生告警的主机名。 对系统的影响 告警长期存在时,会导致Manager频繁主备倒换,用户无法正常登录FusionInsight Manager平台,无法进行正常运维操作。 floatip进程持续重启,可能引起无法访问服务原生UI界面。 可能原因 浮动IP地址异常。 处理步骤 检查主管理节点的浮动IP地址状态。
<ZooKeeper的任意一个节点的业务IP:zkPort/kafka> 一般在迁移没有正常执行完成时用来清理ZooKeeper上的中间状态信息。 Kafka集群IP端口号安全模式下是21007,普通模式下是9092。 异常情况处理 在使用Kafka均衡工具进行Partition迁移的过程中,如果出现集群中Bro
/sqoop2-shell -uk false -u username -p encryptedPassword 命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 通过Kerberos模式认证: ./sqoop2-shell -uk
权限。 特别的,由于普通模式启动客户端不需要认证,sasl认证类型的ACL在普通模式下将不能使用。本文所有涉及sasl方式的鉴权操作均是在安全集群中进行。 表1 Zookeeper的五种ACL 权限说明 权限简称 权限详情 创建权限 create(c) 可以在当前znode下创建子znode