检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Capacity Top10、Lag挤压、CPU/Memory监控等。 Eagle新版本中改名为EFAK。 方案架构 Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于
实时数据处理 实时数据处理通常用于异常检测、欺诈识别、基于规则告警、业务流程监控等场景,在数据输入系统的过程中,对数据进行处理。 例如在梯联网行业,智能电梯的数据,实时传入到MRS的流式集群中进行实时告警。 图3 梯联网行业低时延流式处理场景 该场景下MRS的优势如下所示。 实时数据采集:
大的随机读性能。单位:字节。 65536 DATA_BLOCK_ENCODING 配置HFile中block块的编码方法。当一行数据中存在多列时,一般可以配置为“FAST_DIFF”,可以有效地节省数据存储的空间,从而提供性能。 NONE 父主题: HBase性能调优
iveExample三个样例工程。 在应用开发环境中,导入样例工程到IDEA开发环境。 选择“File > Open”,弹出“浏览文件夹”对话框。 选择样例工程文件夹,单击“OK”。 修改样例工程中的如下参数,请参考表1。 表1 文件参数修改列表 文件名 参数名 值 取值样例 \
apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec”的配置项。 单击“保存”,在弹出的对话框中单击“确定”,保存配置。 单击“概览”,选择“更多 > 重启服务”,输入当前用户密码,单击“确定”,重启HBase服务。 父主题: 使用HBase
以实际为准),单击“保存”。 选择“集群 > 服务 > Spark2x > 实例”,勾选配置过期的实例,选择“更多 > 重启实例”,在弹出对话框输入密码,单击“确定”,重启实例。 父主题: Hive负载均衡
在集群概览页面选择“更多 > 重启配置过期的实例”。 在弹出窗口中输入当前登录的用户密码确认身份,然后单击“确定”。 在确认重启实例的对话框中单击“确定”。 支持单击“查看实例”打开所有配置已过期的实例列表,确认可以执行重启任务。 父主题: 管理MRS集群
已创建或获取访问Oozie服务的人机用户账号及密码。 该用户需要从属于hadoop、supergroup、hive组,同时添加Oozie的角色操作权限。若使用Hive多实例,该用户还需要从属于具体的Hive实例组,如hive3。 用户同时还需要至少有manager_viewer权限的角色。 获取运行状态的O
完成JDK选择后,单击“OK”完成配置。 图5 完成JDK配置 将样例工程导入到IntelliJ IDEA开发环境。 选择“Open”。 显示“浏览文件夹”对话框。 选择样例工程文件夹,单击“OK”。 导入结束,IDEA主页显示导入的样例工程。 右键单击“pom.xml”,选择“Add as Maven
私有属性功能开关已关闭,业务用户当前已取消私有属性时,菜单栏不显示。 根据界面提示,输入密码,单击“确定”完成身份验证。 身份验证通过后,在确认对话框中单击“确定”。 父主题: 管理MRS集群用户
server2.zookeeper.namespace”,“值”为具体设定值,比如为hiveserver2_zk。 单击“保存”,在弹出对话框单击“确定”。 选择“集群 > 待操作集群的名称 > 服务 > Hive”,选择“更多 > 重启服务”,输入密码开始重启服务。 使用beeline
IDEA开发环境。 打开IntelliJ IDEA,依次选择“File > Open”。 在弹出的Open File or Project对话框中选择样例工程文件夹“hdfs-example-security”,单击“OK”。 将工程依赖的jar包添加到类路径。 如果通过开源镜像
mple三个样例工程。 在应用开发环境中,导入样例工程到IDEA开发环境。 在IDEA中选择“File > Open”,弹出“浏览文件夹”对话框。 选择样例工程文件夹,单击“OK”。 修改样例工程中的如下参数,请参考表1。 表1 文件参数修改列表 文件名 参数名 值 取值样例 \
完成JDK选择后,单击“OK”完成配置。 图5 完成JDK配置 将样例工程导入到IntelliJ IDEA开发环境。 选择“Open”。 显示“浏览文件夹”对话框。 选择样例工程文件夹,单击“OK”。 导入结束,IDEA主页显示导入的样例工程。 右键单击“pom.xml”,选择“Add as Maven
IDEA开发环境。 打开IntelliJ IDEA,依次选择“File > Open”。 在弹出的Open File or Project对话框中选择样例工程文件夹“hdfs-example-security”,单击“OK”。 将工程依赖的jar包添加到类路径。 如果通过开源镜像
选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 选择“作业管理”。 在需要克隆作业的对应的“操作”列中,单击“克隆”,弹出“克隆作业”对话框。 配置克隆参数。 若无参数修改,无需执行本步骤。 若有参数修改,根据实际情况填写参数,单击“确定”下发克隆作业。 命令参考(由添加作业
server2.zookeeper.namespace”,“值”为具体设定值,比如为hiveserver2_zk。 单击“保存”,在弹出对话框单击“确定”。 返回实例页面,单击“概览”,在概览页面选择“更多 > 重启服务”,输入当前用户密码,单击“确定”开始重启服务。 以客户端
名称,进入集群信息页面。 选择“标签管理”页签,进入标签管理界面。 单击“添加/编辑标签”(若首次添加标签则为单击“添加标签”),在弹出的对话框输入新添加标签的键和值,单击“添加”。 图2 添加/编辑标签 用户也可以通过启用默认标签为集群增加集群标签。默认标签会为集群和每个节点添加默认标签,并占用2个标签配额。
在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > HDFS”,单击图表区域右上角的下拉菜单,单击“定制”,在弹出的对话框中选择“主NameNode RPC队列平均时间”,单击“确定”。 图1 主NameNode RPC队列平均时间 查看“主NameNode
完成JDK配置 将样例工程导入到IntelliJ IDEA开发环境。 打开IntelliJ IDEA,选择“Open”。 显示“浏览文件夹”对话框。 选择样例工程文件夹,单击“OK”。 导入结束,IDEA主页显示导入的样例工程。 右键单击“pom.xml”,选择“Add as Maven