检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
iation=true -Djava.io.tmpdir=${Bigdata_tmp_dir} NameNode文件数量和NameNode使用的内存大小成比例关系,文件对象变化时请修改默认值中的“-Xms2G -Xmx4G -XX:NewSize=128M -XX:MaxNewSize=256M”。参考值如下表所示。
Consumer/消费者 向Topic订阅,并且接收发布到这些Topic的消息。 各模块间关系如图2所示。 图2 Kafka模块间关系 消费者使用一个消费者组名称来标记自己,主题的每个消息被传递给每个订阅消费者组中的一个消费者。如果所有的消费者实例都属于同样的消费组,它们就以传统队列
动重启服务不断服。 MRS 2.1.0.9补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
重启服务不断服。 MRS 2.1.0.10补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
是,处理完毕。 否,执行29。 检查本地磁盘空间是否正常。 执行df -h命令检查根目录,查看“/srv”、“/var”和“/opt”目录挂载的磁盘使用是否超过95%。 是,执行30。 否,执行31。 清理对应目录下无用信息,保证可用磁盘空间大于80%,等待几分钟查看“Hive服务不可用”告警是否清除。
至请求事件时间+5m },为每条展示事件随机生成0-5条点击事件,点击事件的时间取值范围为{展示事件时间 至展示事件时间+5m } 开发思路 使用Structured Streaming接收Kafka中数据,生成请求流、展示流、点击流。 对请求流、展示流、点击流的数据进行关联查询。 统计结果写入kafka。
至请求事件时间+5m },为每条展示事件随机生成0-5条点击事件,点击事件的时间取值范围为{展示事件时间 至展示事件时间+5m } 开发思路 使用Structured Streaming接收Kafka中数据,生成请求流、展示流、点击流。 对请求流、展示流、点击流的数据进行关联查询。 统计结果写入kafka。
事务样例工程无需执行此步骤。 图2 复制配置文件绝对路径 使用clickhouse-example.properties路径替换Demo.java中getProperties()方法中proPath的路径。 图3 Demo.java路径替换 使用clickhouse-example.prop
指标名=vCores”。 是,执行5。 否,执行6。 出现该定位信息表示Yarn集群内存或CPU不足,登录NodeManager节点,分别使用命令free -g和cat /proc/cpuinfo,查询节点可用内存和可用CPU,据此在FusionInsight Manager界面增大Yarn
目标IP的IP地址模式,可选择“IPv4”或者“IPv6”。 SFTP IP 192.168.xxx.xxx 指定审计日志转储后存放的SFTP服务器,建议使用基于SSH v2的SFTP服务,否则存在安全风险。 SFTP端口 22 指定审计日志转储后存放的SFTP服务器连接端口。 保存路径 /opt/omm/oms/auditLog
机名和IP地址请保持一一对应。 未安装HBase客户端时: Linux环境已安装JDK,版本号需要和IntelliJ IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
添加用户”,在新增用户界面,创建一个机机用户,例如developuser。 “用户组”需加入“iotdbgroup”用户组。 “角色”加入2新增的角色。 使用admin用户登录FusionInsight Manager,选择“系统 > 权限 > 用户”,在用户名为developuser的操作列选择“更多
直接重启 重启期间无法访问Kudu表,影响作业。 直接重启耗时约1分钟。 滚动重启 不支持滚动重启。 - Impala 直接重启 重启期间无法使用Impala查询表,影响作业执行。 直接重启耗时约3~5分钟。 滚动重启 单个Impalad节点重启时,运行在该节点上的任务会失败,其它节点的任务不受影响。
pattern配置项设置单副本的数据文件和目录。 MRS 1.9.3.9及其后续补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即用户自行搭建的客户端)。如果集群之前安装了1.9.3.8补丁,不需要做此操作。 主Master节点的原始客户端全量更新,请参见
机名和IP地址请保持一一对应。 未安装HBase客户端时: Linux环境已安装JDK,版本号需要和IntelliJ IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
直接重启 重启期间无法访问Kudu表,影响作业。 直接重启耗时约1分钟。 滚动重启 不支持滚动重启。 - Impala 直接重启 重启期间无法使用Impala查询表,影响作业执行。 直接重启耗时约3~5分钟。 滚动重启 单个Impalad节点重启时,运行在该节点上的任务会失败,其它节点的任务不受影响。
HBase”,单击概览页面右上角的“ 启动服务”启动HBase服务。 HBase服务启动成功后,在告警列表中查看该告警是否清除。 是,处理完毕。 否,执行8。 使用对应步骤恢复HBase服务后,需要观察一段时间,确认HBase服务以及相关业务正常后,建议执行以下命令删除相关备份目录,避免残留存在坏快的无用文件:
直接重启 重启期间无法访问Kudu表,影响作业。 直接重启耗时约1分钟。 滚动重启 不支持滚动重启。 - Impala 直接重启 重启期间无法使用Impala查询表,影响作业执行。 直接重启耗时约3~5分钟。 滚动重启 单个Impalad节点重启时,运行在该节点上的任务会失败,其它节点的任务不受影响。
步骤一:安装数据库并上传驱动包 安装开源MySQL或Postgres数据库。 数据库安装节点需与集群处于同一网段,能互相访问。 上传驱动包。 Postgres: 使用开源驱动包替换集群已有的驱动包。将Postgres驱动包“postgresql-42.2.5.jar”上传至所有MetaStore实例节点
动成功。 (可选)MRS 2.1.0.11补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2