检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
total = udfState.getState } } 应用代码 该段代码是流图定义代码,具体实现业务流程,另外,代码中窗口的触发时间使用了event time。 import com.huawei.rt.flink.core.{SEvent, SEventSourceWithChk
udfState.getState(); } } 应用代码 该段代码是流图定义代码,具体实现业务流程,另外,代码中窗口的触发时间使用了processing time。 下面代码片段仅为演示,完整代码参见FlinkCheckpointJavaExample样例工程下的com
total = udfState.getState } } 应用代码 该段代码是流图定义代码,具体实现业务流程,另外,代码中窗口的触发时间使用了event time。 import com.huawei.rt.flink.core.{SEvent, SEventSourceWithChk
在告警列表中单击该告警,从完整的告警信息中的“定位信息”处获得“主机名”。 以omm用户进入主集群HBase客户端所在节点。 如果集群采用了安全版本,要进行安全认证,然后使用hbase用户进入hbase shell界面。 cd /opt/client source ./bigdata_env kinit hbaseuser
产生告警的主机名。 对系统的影响 老年代GC时间超出阈值,会影响HBase数据的读写变慢,严重情况下,会出现请求超时。 可能原因 该节点HBase实例内存使用率过大,或配置的堆内存不合理,或HBase存在大量的IO操作,导致进程GC频繁。 处理步骤 检查GC时间 在FusionInsight Manager首页,选择“运维
Master节点数量大于等于3个,小于等于11个。 节点组数量总和小于等于10个,非Master节点组中节点数量总和小于等于10000个。 管控数合设 生产环境或商用环境不推荐使用此场景。 管理节点、控制节点和数据节点合并部署时,集群性能和可靠性都会产生较大影响。 如节点数量满足需求,建议将数据节点单独部署。 Mas
读包丢包率”,查看该告警阈值是否合理(默认0.5%为合理值,用户可以根据自己的实际需求调整)。 是,执行8。 否,执行6。 根据实际服务的使用情况在“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络读信息 > 读包丢包率”,单击“操作”列的“修改”,更改告警阈值。如图1所示。
注意事项 不允许多个线程在同一时间共用同一个HTable实例。HTable是一个非线程安全类,因此,同一个HTable实例,不应该被多个线程同时使用,否则可能会带来并发问题。 父主题: 开发HBase应用
total = udfState.getState } } 应用代码 该段代码是流图定义代码,具体实现业务流程,另外,代码中窗口的触发时间使用了event time。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
total = udfState.getState } } 应用代码 该段代码是流图定义代码,具体实现业务流程,另外,代码中窗口的触发时间使用了event time。 下面代码片段仅为演示,完整代码参见FlinkCheckpointScalaExample样例工程下的com.huawei
ob作为订阅者,分别订阅一份数据并打印输出。 FlinkPipelineScalaExample FlinkSqlJavaExample 使用客户端通过jar作业提交SQL作业的应用开发示例。 FlinkStreamJavaExample DataStream程序的应用开发示例。
Consumer/消费者 向Topic订阅,并且接收发布到这些Topic的消息。 各模块间关系如图2所示。 图2 Kafka模块间关系 消费者使用一个消费者组名称来标记自己,主题的每个消息被传递给每个订阅消费者组中的一个消费者。如果所有的消费者实例都属于同样的消费组,它们就以传统队列
进程运行日志 记录进程运行信息及调试信息,如函数入口和出口打印、模块间接口消息等。 进程运行异常日志 记录导致进程运行时错误的错误信息,如输入对象为空、编解码失败等错误。 进程运行环境信息日志 记录进程运行环境的信息,如资源状态、环境变量等。 脚本日志 记录脚本执行的过程信息。 资源回收日志
/opt/client/Hive/Beeline/lib/derby-10.10.2.0.jar derby-10.10.2.0.jar.bak命令。 命令中使用的jar包请根据集群中对应路径下的实际版本修改。 提交MapReduce任务,执行如下命令,运行样例工程。运行样例工程前需要根据实际环境修改认证信息。
是,处理完毕。 否,执行29。 检查本地磁盘空间是否正常。 执行df -h命令检查根目录,查看“/srv”、“/var”和“/opt”目录挂载的磁盘使用是否超过95%。 是,执行30。 否,执行31。 清理对应目录下无用信息,保证可用磁盘空间大于80%,等待几分钟查看“Hive服务不可用”告警是否清除。
至请求事件时间+5m },为每条展示事件随机生成0-5条点击事件,点击事件的时间取值范围为{展示事件时间 至展示事件时间+5m } 开发思路 使用Structured Streaming接收Kafka中数据,生成请求流、展示流、点击流。 对请求流、展示流、点击流的数据进行关联查询。 统计结果写入kafka。
事务样例工程无需执行此步骤。 图2 复制配置文件绝对路径 使用clickhouse-example.properties路径替换Demo.java中getProperties()方法中proPath的路径。 图3 Demo.java路径替换 使用clickhouse-example.prop
指标名=vCores”。 是,执行5。 否,执行6。 出现该定位信息表示Yarn集群内存或CPU不足,登录NodeManager节点,分别使用命令free -g和cat /proc/cpuinfo,查询节点可用内存和可用CPU,据此在FusionInsight Manager界面增大Yarn
机名和IP地址请保持一一对应。 未安装HBase客户端时: Linux环境已安装JDK,版本号需要和IntelliJ IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时,需要在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
至请求事件时间+5m },为每条展示事件随机生成0-5条点击事件,点击事件的时间取值范围为{展示事件时间 至展示事件时间+5m } 开发思路 使用Structured Streaming接收Kafka中数据,生成请求流、展示流、点击流。 对请求流、展示流、点击流的数据进行关联查询。 统计结果写入kafka。