检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用新的数据节点。 Colocation与数据节点容量 由于使用Colocation进行存储数据的时候,会固定存储在指定的locators所对应的数据节点上面,所以如果不对locator进行规划,会造成数据节点容量不均衡。下面总结了保证数据节点容量均衡的两个主要的使用原则,如表2所示。
用新的数据节点。 Colocation与数据节点容量 由于使用Colocation进行存储数据的时候,会固定存储在指定的locators所对应的数据节点上面,所以如果不对locator进行规划,会造成数据节点容量不均衡。下面总结了保证数据节点容量均衡的两个主要的使用原则,如表2所示。
统会自动集群创建一个默认集群标签,并为每个节点创建一个默认节点标签,且默认标签会自动同步到对应的云服务器或云硬盘节点上。 通过MapReduce服务节点管理页面,在节点列表中将鼠标移动到对应节点的标签图标上,可以查看该节点上已存在的标签。 MRS标签更新会同步到集群中的云服务器(
将lines切分为word words = lines.select(explode(split(lines.value, " ")).alias("word")) # 生成正在运行的word count wordCounts = words.groupBy("word")
将lines切分为word words = lines.select(explode(split(lines.value, " ")).alias("word")) # 生成正在运行的word count wordCounts = words.groupBy("word")
ink客户端并配置安全认证,本章节以“/opt/hadoopclient”为客户端安装目录为例,介绍安装客户端及配置安全认证。客户端安装目录请根据实际修改。 安装客户端及配置安全认证步骤 安装客户端。 以在集群内节点安装客户端为例: 登录Manager,在“集群”下拉列表中单击需要操作的集群名称,选择“更多
Exception { String[] words = s.split("\\s"); if (words.length < 2) { return
table => '[table_name]'); 参数描述 表1 参数描述 参数 描述 table_name 需要查询的表名,支持database.tablename格式。 示例 call show_hoodie_properties(table => "hudi_table5");
在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Flume > 实例”,选择上报告警实例主机名对应的角色,单击图表区域右上角的下拉菜单,选择“定制 > Agent > Flume直接内存使用率”,单击“确定”。 图1 Flume直接内存使用率
在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Flume > 实例”,选择上报告警实例主机名对应的角色,单击图表区域右上角的下拉菜单,选择“定制 > Agent > Flume垃圾回收(GC)总时间”,单击“确定”。 图1 Flume垃圾回收(GC)总时间
在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Kafka > 实例”,选择上报告警实例主机名对应的角色。单击图表区域右上角的下拉菜单,选择“定制 > 进程 > Kafka直接内存使用率”,单击“确定”。 图1 Kafka直接内存使用率
实例主机名。 在FusionInsight Manager首页,选择“集群 > 服务 > Ranger > 实例”,选择上报告警实例主机名对应的角色,单击图表区域右上角的下拉菜单,选择“定制 > CPU和内存 > UserSync直接内存使用率”,单击“确定”。 图1 UserSync直接内存使用率
实例主机名。 在FusionInsight Manager首页,选择“集群 > 服务 > Ranger > 实例”,选择上报告警实例主机名对应的角色,单击图表区域右上角的下拉菜单,选择“定制 > CPU和内存 > PolicySync直接内存使用率”,单击“确定”。 图1 PolicySync直接内存使用率
实例主机名。 在FusionInsight Manager首页,选择“集群 > 服务 > Ranger > 实例”,选择上报告警实例主机名对应的角色,单击图表区域右上角的下拉菜单,选择“定制 > GC > PolicySync垃圾回收(GC)时间”,单击“确定”。 图1 PolicySync垃圾回收(GC)时间
1 /srv/www 13 是,执行rm -rf 待删除文件或文件夹路径命令,删除文件,执行5。 删除文件为高危操作,在执行操作前请务必确认对应文件是否不再需要。 否,进行磁盘扩容,执行5。 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行6。 收集故障信息。 在主集群的FusionInsight
在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Oozie > 实例”,选择上报告警实例主机名对应的角色,单击图表区域右上角的下拉菜单,选择“定制 > 内存”中的“Oozie直接内存使用率”,单击“确定”。 图1 定制Oozie直接内存使用率
在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Oozie > 实例”,选择上报告警实例主机名对应的角色,单击图表区域右上角的下拉菜单,选择“定制 > 内存”中的“Oozie堆内存使用率”,单击“确定”。 图1 定制Oozie堆内存使用率
brokerlist格式为brokerIp:9092。 开发思路 接收Kafka中数据,生成相应DStream。 筛选数据信息并分析。 找到对应的HBase表记录。 计算结果,写到HBase表。 父主题: Streaming从Kafka读取数据再写入HBase
Structure”窗口。 选择“SDKs”,单击加号选择“JDK”。 在弹出的“Select Home Directory for JDK”窗口,选择对应的JDK目录,然后单击“OK”。 完成JDK选择后,单击“Apply”。 选择“Project”,在“Project SDK”下的下拉菜单
节点间网络互通异常”或“节点故障”等告警。 是,节点间网络不互通,请联系运维人员修复。 否,节点间网络互通,检查结束。 检查弹性伸缩是否关闭 登录华为云管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁升级。