检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink Kafka样例程序开发思路 场景说明 假定某个Flink业务每秒就会收到1个消息记录。 基于某些业务要求，开发的Flink应用程序实现功能：实时输出带有前缀的消息内容。 数据规划 Flink样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafk
LK生态云服务，兼容Elasticsearch、Logstash、Kibana、Cerebro等软件。 约束与限制 已安装MRS的Hive服务和CSS的Elasticsearch服务，并且两个集群之间网络互通。 适用于MRS 3.x及之后版本。 步骤一：配置云搜索服务索引并下载jar包
Kafka应用开发常用概念 Topic Kafka维护的同一类的消息称为一个Topic。 Partition 每一个Topic可以被分为多个Partition，每个Partition对应一个可持续追加的、有序不可变的log文件。 Producer 将消息发往Kafka topic中的角色称为Producer。
操作场景 为了运行MRS产品Hive组件的JDBC接口样例代码，需要完成下面的操作。 以在Windows环境下开发JDBC方式连接Hive服务的应用程序为例。 导入jdbc-example样例工程之后，需要将代码中USER_NAME = "xxx"的"xxx"改成在准备MRS应用开发用户阶段创建的开发用户。
克隆时仅可以修改为更高集群版本，无法克隆创建历史版本集群。 在组件服务配置修改的参数和创建集群时选择的自定义软件配置的参数不会克隆到新集群。 资源池维度的弹性伸缩策略不支持克隆。 克隆集群时克隆作业： 未通过console平台或调用v2新增并执行作业接口提交的作业无法在克隆集群时克隆
Flink Kafka样例程序开发思路 场景说明 假定某个Flink业务每秒就会收到1个消息记录。 基于某些业务要求，开发的Flink应用程序实现功能：实时输出带有前缀的消息内容。 数据规划 Flink样例工程的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafk
没有接收到Yarn的响应消息，则因超时结束此次请求。 若由于机器性能或者是网络环境问题，无法在30秒内接收到Yarn启动application的响应消息时，可适当延长对应的超时时间。 登录FusionInsight Manager。 选择“集群 > 服务 > HetuEngine
生产者发送多条数据可以封装在一个事务中，形成一个原子操作。多条消息要么都发送成功，要么都发送失败。 read-process-write模式：将消息消费和生产封装在一个事务中，形成一个原子操作。在一个流式处理的应用中，常常一个服务需要从上游接收消息，然后经过处理后送达到下游，这就对应着消息的消费和生产。 二次开发代码样例如下：
生产者发送多条数据可以封装在一个事务中，形成一个原子操作。多条消息要么都发送成功，要么都发送失败。 read-process-write模式：将消息消费和生产封装在一个事务中，形成一个原子操作。在一个流式处理的应用中，常常一个服务需要从上游接收消息，然后经过处理后送达到下游，这就对应着消息的消费和生产。 二次开发代码样例如下：
运行环境：Windows或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置，版本要求如下： 服务端和客户端仅支持自带的OpenJDK，版本为1.8.0_272，不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。
来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 告警长期存在时，会导致Manager频繁主备倒换，用户无法正常登录FusionInsight Manager平台，无法进行正常运维操作。 cep进
来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 告警长期存在时，会导致Manager频繁主备倒换，用户无法正常登录FusionInsight Manager平台，无法进行正常运维操作。 fms进
Hive数据源，并通过HetuEngine查询本集群Hive数据源的数据库表。 前提条件 集群已安装HetuEngine、Hive服务及其所依赖的服务（DBService、KrbServer、Zookeeper、HDFS、Yarn、MapReduce）且运行正常。 如集群已启用K
运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下： 服务端和客户端仅支持自带的OpenJDK，版本为1.8.0_272，不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。
TL等。Storm有如下几个特点： 适用场景广泛 易扩展，可伸缩性高 保证无数据丢失 容错性好 易于构建和操控 多语言 Storm作为计算平台，在业务层为用户提供了更为易用的业务实现方式：CQL（Continuous Query Language—持续查询语言）。CQL具有以下几个特点：
connectionTimeout） < RPC响应超时时间（spark.rpc.askTimeout），在特殊条件下（Full GC，网络延时等）消息响应时间较长，消息还没有反馈，channel又达到了过期时间，该channel就被终止了，AM端感知到channel被终止后认为driver失联，然后整个应用停止。
以下Spark2x权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。 登录FusionInsight Manager。 选择“集群 > 服务 > Spark2x > 更多 > 启用Ranger鉴权”，查看该参数是否置灰。 是，创建用户并在Ranger中赋予该用户相关操作权限： 选择“系统
由于Flink作业是On Yarn运行，在配置Flink对接OBS文件系统之前需要确保Yarn对接OBS文件系统功能是正常的。 父主题： MRS集群服务对接OBS示例
= 0, completed tasks = 3025] 回答 出现上述问题的原因是：当spark-sql退出时，应用退出关闭消息通道，如果当前还有消息未处理，需要做连接关闭异常的处理，此时，如果scala内部的线程池已经关闭，就会打印RejectEdExecutionExcep
组件WebUI）进行操作，页面自动锁定。 Manager关键特性：自动健康检查与巡检 Manager为用户提供界面化的系统运行环境自动检查服务，帮助用户实现一键式系统运行健康度巡检和审计，保障系统的正常运行，降低系统运维成本。用户查看检查结果后，还可导出检查报告用于存档及问题分析。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
