检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
记录变更 安排并记录对集群配置参数和文件实施的操作,为故障分析处理场景提供依据。 每月 分析日志 收集集群节点服务器的硬件日志,例如BMC系统日志,并进行分析。 收集集群节点服务器的操作系统日志,并进行分析。 收集集群日志,并进行分析。 诊断网络 对集群的网络健康状态进行分析。 管理硬件
执行以下命令,修改“backup.properties”文件的配置参数,参数具体说明如表1所示。 vi backup.properties server.url = 10.0.0.1:21351,10.0.0.2:12000 authentication.type = kerberos
x.x.x/install/FusionInsight-Oozie-x.x.x/oozie-x.x.x/embedded-oozie-server/webapp/WEB-INF/lib”路径拷贝“curator-x-discovery-x.x.x.jar”包到“$BIGDATA_
的端口,可在FusionInsight Manager界面,选择“集群 > 服务 > Hive > 配置”,在搜索框中搜索“hive.server2.thrift.port”查看,默认值为“10000”。 username:参数值为实际使用的用户名,即准备MRS应用开发用户创建的用户名。
以root用户登录任意一个Master节点并初始化环境变量。 source /opt/client/bigdata_env 执行zkCli.sh -server 'ZooKeeper实例IP地址:ZooKeeper连接端口'命令登录ZooKeeper。 ZooKeeper连接端口通常为2181
登录Manager页面,选择“集群 > 服务 > Hive > 配置 > 全部配置 > HiveServer(角色) > 自定义”,在“hive.server.customized.configs”中添加如下两个参数,保存配置,并滚动重启服务。 hive-ext.skip.ranger.showtables
标签的一个常见用法是使用生成数据点的机器名称以及机器所属的集群或池的名称来注释数据点。这使您可以轻松地制作显示每个服务器的服务状态的仪表盘,以及显示跨逻辑服务器池的聚合状态的仪表盘。 OpenTSDB系统表简介 OpenTSDB是基于HBase存储时序数据的,在集群中开启Ope
通过SSH登录Kafka Broker。 通过cd /var/log/Bigdata/kafka/broker命令进入日志目录。 查看server.log发现如下日志抛出java.io.IOException: Too many open files in system。 图3 日志异常
使用PuTTY工具,以root用户登录该告警的主机地址。 执行命令su - omm,切换至omm用户。 执行sh ${BIGDATA_HOME}/om-server/om/sbin/status-oms.sh,查询当前HA管理的knox资源状态是否正常(normal:状态正常,其他:状态异常)。 是,执行7。
增加Hive最大连接数配置。 登录MRS集群详情页面,选择“组件管理”。 选择“Hive > 服务配置”,将“基础配置”切换为“全部配置”。 然后查找“hive.server.session.control.maxconnections”,调大该配置项的数值。设该配置项的值为A,阈值为B,连接到HiveSe
'hive.metastore.sasl.enabled' = 'true', 'hive.server2.thrift.sasl.qop' = 'auth-conf', 'hive.server2.authentication' = 'KERBEROS', 'dfs.nameservices'='hacluster'
Put put = new Put(table1List.get(i)._2().getRow()); // 计算结果 int resultValue = Integer.parseInt(hbase1Value) + Integer
stream.transform ( rdd => rdd.map(r => (r.value, 1L)) ) //汇总计算字数的总时间。 val wordCounts = tf.reduceByKey(_ + _) val totalCounts
= udfState.getState(); } } 带checkpoint的窗口定义 该段代码是window算子的代码,每当触发计算时统计窗口中元组数量。 import org.apache.flink.api.java.tuple.Tuple; import org.apache
= udfState.getState(); } } 带checkpoint的窗口定义 该段代码是window算子的代码,每当触发计算时统计窗口中元组数量。 import org.apache.flink.api.java.tuple.Tuple; import org.apache
Hadoop数据迁移示意 方案优势 简单易用:免编程,向导式任务开发界面,通过简单配置几分钟即可完成迁移任务开发。 迁移效率高: 基于分布式计算框架进行数据任务执行和数据传输优化,并针对特定数据源写入做了专项优化,迁移效率高。 实时监控:迁移过程中可以执行自动实时监控、告警和通知操作。
导出MRS集群配置参数 同步MRS集群配置 克隆MRS集群 转换MRS按需集群为包周期集群 删除MRS集群 切换MRS集群VPC子网 修改MRS集群NTP服务器 修改OMS服务配置 修改MRS集群Manager路由表 父主题: 管理MRS集群
= udfState.getState(); } } 带checkpoint的窗口定义 该段代码是window算子的代码,每当触发计算时统计窗口中元组数量。 下面代码片段仅为演示,完整代码参见FlinkCheckpointJavaExample样例工程下的com.huawei
详细介绍请参见通过成本标签维度查看成本分配。 使用成本单元进行成本分配 企业可以使用成本中心的“成本单元”来拆分公共成本。公共成本是指多个部门共享的计算、网络、存储或资源包产生的云成本,或无法直接通过企业项目、成本标签分配的云成本。这些成本不能直接归属于单一所有者,因此不能直接归属到某一类
“avgqu-sz”为磁盘队列深度。 “r/s”和“w/s”之和为“iops”。 “rkB/s”和“wkB/s”之和为带宽。 “%util”为“ioutil”。 svctm的计算方法为: svctm = (tot_ticks_new - tot_ticks_old) / (rd_ios_new + wr_ios_new