检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark Structured Streaming状态操作样例程序开发思路 场景说明 假设需要跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp； 同时输出本批次被更新状态的session。 数据规划 在kafka中生成模拟数据（需要有Kafka权限用户）
FlinkSQL OVER窗口支持超期退窗 本章节适用于MRS 3.5.0及以后版本。 FlinkSQL OVER窗口新增数据超期退窗功能，当已有数据过期且没有新数据到来时，OVER聚合结果刷新并向下游算子发送最新的计算结果，可通过over.window.interval配置该功能，配置如下：
ALM-24015 Flume MonitorServer证书文件已过期 本章节适用于MRS 3.2.0及以后版本。 告警解释 MonitorServer每隔一个小时健康检查时，检查当前系统中的证书文件是否已过期。如果服务端证书已过期，产生该告警。服务端证书恢复的有效期内，告警恢复。
ALM-43018 JobHistory2x进程Full GC次数超出阈值 告警解释 系统每60秒周期性检测JobHistory2x进程的Full GC次数，当检测到JobHistory2x进程的Full GC次数超出阈值（连续3次检测超过12次）时产生该告警。用户可通过“运维 >
Spark Structured Streaming对接Kafka样例程序开发思路 场景说明 假定一个广告业务，存在广告请求事件、广告展示事件、广告点击事件，广告主需要实时统计有效的广告展示和广告点击数据。 已知： 终端用户每次请求一个广告后，会生成广告请求事件，保存到kafka的adRequest
Spark Structured Streaming对接Kafka样例程序开发思路 场景说明 假定一个广告业务，存在广告请求事件、广告展示事件、广告点击事件，广告主需要实时统计有效的广告展示和广告点击数据。 已知： 终端用户每次请求一个广告后，会生成广告请求事件，保存到kafka的adRequest
org.apache.hadoop.mapreduce.JobSubmitter - number of splits:2 12707 [main] INFO org.apache.hadoop.mapreduce.JobSubmitter - Submitting tokens
通过JDBC访问Spark SQL样例程序开发思路 场景说明 用户自定义JDBCServer的客户端，使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 确保以多主实例模式启动了JDBCServer服务，并至少有一个实例可连接客户端。在JDBCServer节点上分别
Spark Structured Streaming状态操作样例程序开发思路 场景说明 假设需要跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp； 同时输出本批次被更新状态的session。 数据规划 在kafka中生成模拟数据（需要有Kafka权限用户）
ALM-24012 Flume证书文件已过期 本章节适用于MRS 3.2.0及以后版本。 告警解释 Flume每隔一个小时，检查当前系统中的证书文件是否已过期。如果服务端证书已过期，产生该告警。服务的证书文件恢复到有效期内，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 24012
ALM-13009 ZooKeeper Znode容量使用率超出阈值 告警解释 系统每小时（MRS 3.5.0及之后版本为“每10分钟”）周期性检测ZooKeeper服务数据目录下二级znode状态，当检测到二级znode的总容量超过阈值时产生该告警。 告警属性 告警ID 告警级别
ALM-43009 JobHistory2x进程GC时间超出阈值 告警解释 系统每60秒周期性检测JobHistory2x进程的GC时间，当检测到JobHistory2x进程的GC时间超出阈值（连续3次检测超过12秒）时产生该告警。用户可通过“运维 >告警 > 阈值设置 > Spark2x
ALM-43022 IndexServer2x进程GC时间超出阈值 告警解释 系统每60秒周期性检测IndexServer2x进程的GC时间，当检测到IndexServer2x进程的GC时间超出阈值（连续3次检测超过12秒）时产生该告警。用户可通过“运维 >告警 > 阈值设置 >
ALM-43023 IndexServer2x进程Full GC次数超出阈值 告警解释 系统每60秒周期性检测IndexServer2x进程的Full GC次数，当检测到IndexServer2x进程的Full GC次数超出阈值（连续3次检测超过12次）时产生该告警。用户可通过“运维
ALM-45588 IoTDBServer直接内存使用率超过阈值 告警解释 系统每60秒周期性检测IoTDBServer进程直接内存使用状态，当连续5次检测到IoTDBServer实例直接内存使用率超出阈值（最大内存的90%）时，产生该告警。当IoTDBServer直接内存使用率小于或等于阈值时，告警恢复。
典型场景：从SFTP服务器导入数据到Hive 操作场景 该任务指导用户使用Loader将数据从SFTP服务器导入到Hive。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业中指定的Hive表的权限。 获取SFTP服务器使用的用户和密码，
ALM-14013 NameNode FsImage文件更新失败 告警解释 HDFS的元数据信息存储在NameNode数据目录（由配置项“dfs.namenode.name.dir”指定）中的FsImage文件中。备NameNode会周期将已有的FsImage和JournalNo
创建Storm Topology 功能介绍 一个Topology是Spouts和Bolts组成的有向无环图。 应用程序是通过storm jar的方式提交，则需要在main函数中调用创建Topology的函数，并在storm jar参数中指定main函数所在类。 代码样例 下面代码片段在com
配置Flink认证和加密 安全认证 Flink整个系统存在三种认证方式： 使用kerberos认证：Flink yarn client与Yarn Resource Manager、JobManager与Zookeeper、JobManager与HDFS、TaskManager与H
org.apache.hadoop.mapreduce.JobSubmitter - number of splits:2 12707 [main] INFO org.apache.hadoop.mapreduce.JobSubmitter - Submitting tokens
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
