检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink DataStream样例程序(Scala) 功能介绍 实时统计连续网购时间超过2个小时的女性网民信息,将统计结果直接打印出来。 DataStream FlinkStreamScalaExample代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata
ALM-43029 JDBCServer作业提交超时 本章节仅适用于MRS 3.5.0及之后版本。 告警解释 用户提交JDBC作业后,会尝试创建JDBCServer进程,并建立Session连接,在建立连接成功前,如果超出预设阈值,则会发出该告警。与该告警相关的配置参数有两个: spark
使用活动缓存提升HDFS客户端连接性能 操作场景 HDFS部署在具有多个NameNode实例的HA(High Availability)模式中,HDFS客户端需要依次连接到每个NameNode,以确定当前活动的NameNode是什么,并将其用于客户端操作。 一旦识别出来,当前活动
Flink DataStream样例程序(Scala) 功能介绍 实时统计连续网购时间超过2个小时的女性网民信息,将统计结果直接打印出来。 DataStream FlinkStreamScalaExample代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata
使用活动缓存提升HDFS客户端连接性能 操作场景 HDFS部署在具有多个NameNode实例的HA(High Availability)模式中,HDFS客户端需要依次连接到每个NameNode,以确定当前活动的NameNode是什么,并将其用于客户端操作。 一旦识别出来,当前活动
配置MRS组件默认日志级别与归档文件大小 如果需要在日志中调整记录的日志级别,则管理员可以修改FusionInsight Manager的日志级别。对于某个具体的服务,除了可以修改日志级别,还可以修改日志文件大小,防止磁盘空间不足日志无法保存。 本章节操作仅支持MRS 3.x及之后的版本。
实时任务接入 实时作业一般由Flink Sql或Sparkstreaming来完成,流式实时任务通常配置同步生成compaction计划,异步执行计划。 Flink SQL作业中sink端Hudi表相关配置如下: create table denza_hudi_sink ( $H
创建ClickHouse租户 本章节内容仅适用于MRS 3.2.0及之后版本。 操作场景 集群管理员通过FusionInsight Manager页面可以创建ClickHouse租户,并关联逻辑集群。系统用户绑定该租户后,则拥有该租户的逻辑集群相关权限。 创建ClickHouse租户
Java样例代码 功能简介 使用自定义客户端的JDBC接口提交数据分析任务,并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句,注意其中不能包含“;”。示例: ArrayList<String> sqlList = new ArrayList<String>(); sqlList
Flink DataStream样例程序(Scala) 功能介绍 实时统计连续网购时间超过2个小时的女性网民信息,将统计结果直接打印出来。 DataStream FlinkStreamScalaExample代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata
提升HBase非业务高峰期的Compaction执行速度 操作场景 HBase支持设置非业务高峰期和非高峰期的Compaction吞吐量,通过在非高峰期设置较大的吞吐量,加快Compaction的执行速度,减小高峰期Compaction对业务的影响。 该操作仅MRS 3.3.0及之后版本支持。
SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用streamBulkPut接口将流数据写入HBase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在hb
SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用streamBulkPut接口将流数据写入HBase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在hb
Flink DataStream Scala样例代码 功能简介 实时统计连续网购时间超过2个小时的女性网民信息,将统计结果直接打印出来。 样例代码 下面代码片段仅为演示,具体代码参见com.huawei.flink.example.stream.FlinkStreamScalaExample:
ALM-13009 ZooKeeper Znode容量使用率超出阈值 告警解释 系统每小时(MRS 3.5.0及之后版本为“每10分钟”)周期性检测ZooKeeper服务数据目录下二级znode状态,当检测到二级znode的总容量超过阈值时产生该告警。 告警属性 告警ID 告警级别
Flink任务开发建议 高可用性下考虑提高Checkpoint保存数 Checkpoint保存数默认是1,也就是只保存最新的Checkpoint的状态文件,当进行状态恢复时,如果最新的Checkpoint文件不可用(比如HDFS文件所有副本都损坏或者其他原因),那么状态恢复就会失
option(TABLE_NAME, tableName). mode(Overwrite). save(basePath) 查询Hudi表。 注册临时表并查询: val roViewDF = spark.read.format("org.apache.hudi").load(basePath
Scala样例代码 功能介绍 实时统计连续网购时间超过半个小时的女性网民信息,将统计结果直接打印或者输出写入到Kafka中。 Spark Streaming Write To Print代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples
配置MRS集群对接SNMP网管平台上报告警 如果用户需要在统一的运维网管平台查看集群的告警、监控数据,管理员可以在FusionInsight Manager使用SNMP服务将相关数据上报到网管平台。 前提条件 对接服务器对应的弹性云服务器需要和MRS集群的Master节点在相同的
查看MRS集群资源监控指标 MRS支持将集群中所有部署角色的节点,按管理节点、控制节点和数据节点进行分类,分别计算关键主机监控指标在每类节点上的变化趋势,并在报表中按用户自定义的周期显示分布曲线图。MRS集群指标监控采用周期性监控,历史监控平均周期约为5分钟。 用户可在MRS管理