检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
2及之后版本:随机密码 Ranger连接DBservice数据库ranger的用户。 kafkaui 随机密码 KafkaUI连接DBService数据库kafka的用户。 该用户仅在MRS 3.1.2及之后版本中存在。 flink 随机密码 Flink连接DBService数据库flinkmeta的用户。
hadoop.hbase.client.Connection conn = null; try { // 建立HBase连接 conn = ConnectionFactory.createConnection(hbaseConfig);
Server连接的超时时间。 JDBCServer的HA方案,多个JDBCServer主节点同时提供服务,当其中一个节点发生故障时,新的客户端连接会分配到其他主节点上,从而保障无间断为集群提供服务。Beeline和JDBC客户端代码两种连接方式的操作相同。 设置客户端与JDBCServer连接的超时时间。
Server连接的超时时间。 JDBCServerHA方案,多个JDBCServer主节点同时提供服务,当其中一个节点发生故障时,新的客户端连接会分配到其他主节点上,从而保障无间断为集群提供服务。Beeline和JDBC客户端代码两种连接方式的操作相同。 设置客户端与JDBCServer连接的超时时间。
通过同时利用Flume服务端和客户端,构成Flume的级联任务,采集日志的流程如下所示。 安装Flume客户端。 配置Flume服务端和客户端参数。 查看Flume客户端收集日志。 停止及卸载Flume客户端。 图1 Flume使用流程 Flume模块介绍 Flume客户端/服务端由一个或多
replicas replica(副本),1个shard可以有多个replica组成。 partition partition(分区),针对的是本地replica而言的,可以理解为是一种纵向切分。 MergeTree ClickHouse拥有非常庞大的表引擎体系,MergeTree作为
> Loader”,勾选“管理员”。 设置Loader的连接权限 (包括Job Connection的编辑、删除和引用权限) 在“配置资源权限”的表格中选择“待操作集群的名称 > Loader > 作业连接器”。 在指定作业连接的“权限”列,勾选“编辑”。 设置Loader作业分组的编辑权限
在旧版本中,对Hive表的分区修剪的谓词下推,只支持列名与整数或者字符串的比较表达式的下推,在2.3版本中,增加了对null、in、and、or表达式的下推支持。 配置参数 登录FusionInsight Manager系统,选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。
通过MapReduce服务的WebUI进行查看 登录MRS Manager,单击“服务管理 > MapReduce > JobHistoryServer”进入Web界面后查看任务执行状态。 图1 JobHistory Web UI界面 通过YARN服务的WebUI进行查看 登录MRS Manager,单击“服务管理
原因分析 以root用户登录主、备Master节点,执行ntpq -p命令查看两节点时间未同步。 解决办法 以root用户登录主OMS节点执行ifconfig命令,查找当前节点的浮动IP。 例如执行后结果如下,则当前节点的浮动IP为192.168.0.3。 登录NTP时间异常的Mas
Storm集群中主备Nimbus状态异常 处理步骤 检查Kerberos组件状态。未启用Kerberos认证的集群无需检查Kerberos状态,请执行2。 登录MRS集群详情页面,选择“组件管理”。 查看Kerberos服务的健康状态是否为“良好”。 是,执行2.a。 否,执行1.c。 参考ALM-25500
如何获取MRS集群ZooKeeper的IP地址和端口? ZooKeeper的IP地址和端口可以通过MRS控制台或登录Manager界面获取。 方法一:通过MRS控制台获取 在MRS集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 选择“组件管理 >
表2 Scan相关参数 参数 描述 默认值 hbase.client.scanner.timeout.period 客户端和RegionServer服务端参数,表示客户端执行scan的租约超时时间。建议设置为60000ms的整数倍,在读高负载情况下可以适当调大。单位:毫秒。 60000
可以通过界面的方式查看Tez任务执行细节。 前提条件 当前MRS集群已安装Yarn服务的TimelineServer实例。 登录Tez WebUI界面 登录Manager系统,具体请参见访问集群Manager,在Manager界面选择“集群 > 服务 > Tez”,在“基本信息”中单击“Tez
认并非最佳,需要根据实际业务和集群的服务器配置情况调整集群节点资源配置,以获得最佳的性能效果。 调整HetuEngine集群节点资源步骤 登录FusionInsight Manager页面。 选择“集群 > 服务 > HetuEngine > 配置 > 全部配置”,参考表1调整集群节点资源配置参数。
个副本会逐一写入。第一副本会优先选择客户端所在的DataNode节点,在以下情况下,当文件的存储策略为LAZY_PERSIST时,文件的所有副本的存储类型都是DISK: 当客户端所在的DataNode节点没有RAM_DISK时,则会写入客户端所在的DataNode节点的DISK磁
个副本会逐一写入。第一副本会优先选择客户端所在的DataNode节点,在以下情况下,当文件的存储策略为LAZY_PERSIST时,文件的所有副本的存储类型都是DISK: 当客户端所在的DataNode节点没有RAM_DISK时,则会写入客户端所在的DataNode节点的DISK磁
the pg_hba.conf file to include the client's IP address or subnet。 原因分析 连接PgSQL MD5认证不通过,需要在“pg_hba.conf”中配置白名单。 在执行sqoop import命令时,会启动MapReduce任务,由于MRS
Doris集群与MySQL服务端集群网络互通。 已安装MySQL客户端,相关操作可参考使用MySQL客户端连接Doris。 通过JDBC Catalog查询MySQL/Doris数据 进入MySQL官网(https://www.mysql.com/),选择“DOWNLOADS >
(Garbage Collection),评估内存中RDD的大小来判断内存是否变成性能瓶颈,并根据情况优化。 监控节点进程的GC情况(在客户端的conf/spark-default.conf配置文件中,在spark.driver.extraJavaOptions和spark.executor