检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
至请求事件时间+5m },为每条展示事件随机生成0-5条点击事件,点击事件的时间取值范围为{展示事件时间 至展示事件时间+5m } 开发思路 使用Structured Streaming接收Kafka中数据,生成请求流、展示流、点击流。 对请求流、展示流、点击流的数据进行关联查询。 统计结果写入kafka。
直接重启 重启期间无法访问Kudu表,影响作业。 直接重启耗时约1分钟。 滚动重启 不支持滚动重启。 - Impala 直接重启 重启期间无法使用Impala查询表,影响作业执行。 直接重启耗时约3~5分钟。 滚动重启 单个Impalad节点重启时,运行在该节点上的任务会失败,其它节点的任务不受影响。
指标名=vCores”。 是,执行5。 否,执行6。 出现该定位信息表示Yarn集群内存或CPU不足,登录NodeManager节点,分别使用命令free -g和cat /proc/cpuinfo,查询节点可用内存和可用CPU,据此在FusionInsight Manager界面增大Yarn
HBase”,单击概览页面右上角的“ 启动服务”启动HBase服务。 HBase服务启动成功后,在告警列表中查看该告警是否清除。 是,处理完毕。 否,执行8。 使用对应步骤恢复HBase服务后,需要观察一段时间,确认HBase服务以及相关业务正常后,建议执行以下命令删除相关备份目录,避免残留存在坏快的无用文件:
步骤一:安装数据库并上传驱动包 安装开源MySQL或Postgres数据库。 数据库安装节点需与集群处于同一网段,能互相访问。 上传驱动包。 Postgres: 使用开源驱动包替换集群已有的驱动包。将Postgres驱动包“postgresql-42.2.5.jar”上传至所有MetaStore实例节点
client.rpc.timeout”影响所有客户端连接HDFS服务端的RPC超时时间,如果用户需要单独修改Hive连接HDFS的超时时间,可以使用自定义配置项功能进行设置。在Hive的“core-site.xml”文件增加此参数可被Hive服务识别并代替HDFS的设置。 登录MRS管理控制台。
机名和IP地址请保持一一对应。 未安装HBase客户端时: Linux环境已安装JDK,版本号需要和IntelliJ IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
ud-mrs-example/tree/mrs-3.1.5/src/hive-examples/hive-jdbc-example。 本地使用IDEA工具导入样例工程,等待Maven工程下载相关依赖包,具体操作可参考配置并导入样例工程。 图1 Hive样例工程示例 本地配置好Ma
设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 未安装客户端时: Linux环境已安装JDK,版本号需要和IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在Linux环境所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
/start-agent.sh 等待一段时间观察告警是否自动清除。 是,处理完毕。 否,执行17。 检查是否NodeAgent进程故障。 使用omm用户登录故障节点,执行如下命令。 ps -ef | grep "Dprocess.name=nodeagent" | grep -v
以root用户登录备NameNode节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行su - omm命令切换到omm用户。 使用如下命令查看备NameNode是否能将文件推送到主NameNode上。 tmpFile=/tmp/tmp_test_$(date +%s)
设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 未安装客户端时: Linux环境已安装JDK,版本号需要和IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在Linux环境所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
横轴中每个时间间隔也会不同,具体监控数据的规则如下: 如果FusionInsight Manager存储所用的GaussDB所在分区的磁盘使用率超过80%时,会清理实时监控数据和周期为5分钟的监控数据。 若为“租户资源”下的“存储资源(HDFS)”,0小时~300小时:每个间隔1
直接重启 重启期间无法访问Kudu表,影响作业。 直接重启耗时约1分钟。 滚动重启 不支持滚动重启。 - Impala 直接重启 重启期间无法使用Impala查询表,影响作业执行。 直接重启耗时约3~5分钟。 滚动重启 单个Impalad节点重启时,运行在该节点上的任务会失败,其它节点的任务不受影响。
设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 未安装客户端时: Linux环境已安装JDK,版本号需要和IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在Linux环境所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
sat+megaraid,2 -t long /dev/sda 是,执行16。 否,执行17。 磁盘不支持smart,通常是因为配置的RAID卡不支持,此时需要使用对应RAID卡厂商的检查工具进行处理,然后执行16。 例如LSI一般是MegaCLI工具。 在告警详情页面单击“清除告警”,并继续观察该告
QL、JDBC/ODBC Server和Streaming的信息的REST接口。开源REST接口完整和详细的描述请参考官网上的文档以了解其使用方法:https://spark.apache.org/docs/2.2.2/monitoring.html#rest-api。 准备运行环境
sat+megaraid,2 -t long /dev/sda 是,执行17。 否,执行18。 磁盘不支持smart,通常是因为配置的RAID卡不支持,此时需要使用对应RAID卡厂商的检查工具进行处理,然后执行17。 例如LSI一般是MegaCLI工具。 在FusionInsight Manager界面,选择“运维
设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 未安装客户端时: Linux环境已安装JDK,版本号需要和IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在Linux环境所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。