检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 包年/包月MRS资源生命周期 到期预警 包年/包月MRS集群资源在到期前第7天内,系统将向用户推送到期预警消息。预警消息将通过邮件、短信和站内信的方式通知到华为云账号的创建者。
参数入口 请参考修改集群服务配置参数进入Kafka服务参数“全部配置”页面。 常用参数 表1 参数说明 配置参数 说明 缺省值 log.dirs Kafka数据存储目录列表,以逗号分隔多个目录。
反序列化所接收的消息。 表4 Consumer重要接口函数 返回值类型 接口函数 描述 void close() 关闭Consumer接口方法。
在本工程中,假定某个Flink业务每秒就会收到1个消息记录,启动Producer应用向Kafka发送数据,然后启动Consumer应用从Kafka接收数据,对数据内容进行处理后并打印输出。
通过IntelliJ IDEA可直接运行Consumer.java,如图1所示: 图1 运行Consumer.java 单击运行后弹出控制台窗口,可以看到Consumer启动成功后,再启动Producer,即可看到实时接收消息: 图2 Consumer.java运行窗口 在Linux
反序列化所接收的消息。 表4 Consumer重要接口函数 返回值类型 接口函数 描述 void close() 关闭Consumer接口方法。
HDFS性能差导致HBase服务不可用告警 问题现象 HBase组件不断上报服务不可用告警。 原因分析 该问题多半为HDFS性能较慢,导致健康检查超时,从而导致监控告警。
导入完成后提示同步集群配置并重启WEB服务使新证书生效,单击“确定”。 在弹出的确认窗口输入密码,单击“确定”自动同步集群配置并重启WEB服务。 如在同步集群配置过程中,刷新了页面或关闭了浏览器,需执行以下操作手动重启WEB服务: 使用omm用户登录OMS主节点。
多条消息要么都发送成功,要么都发送失败。 read-process-write模式:将消息消费和生产封装在一个事务中,形成一个原子操作。在一个流式处理的应用中,常常一个服务需要从上游接收消息,然后经过处理后送达到下游,这就对应着消息的消费和生产。
多条消息要么都发送成功,要么都发送失败。 read-process-write模式:将消息消费和生产封装在一个事务中,形成一个原子操作。在一个流式处理的应用中,常常一个服务需要从上游接收消息,然后经过处理后送达到下游,这就对应着消息的消费和生产。
通过IntelliJ IDEA可直接运行Consumer.java,如图1所示: 图1 运行Consumer.java 单击运行后弹出控制台窗口,可以看到Consumer启动成功后,再启动Producer,即可看到实时接收消息: 图2 Consumer.java运行窗口 在Linux
敏感操作保护 MRS支持对敏感操作进行保护,若用户已开启敏感操作保护(请参见IAM服务的敏感操作),则输入选择的对应验证方式获取的验证码进行验证(如图2所示),避免误操作带来的风险和损失。 图2 身份验证 父主题: 安全
方案架构 生产者(Producer)将消息发布到Kafka主题(Topic)上,消费者(Consumer)订阅这些主题并消费这些消息。 在Kafka集群上一个服务器称为一个Broker。对于每一个主题,Kafka集群保留一个用于缩放、并行化和容错性的分区(Partition)。
通过绑定委托,您可以将部分资源共享给ECS或BMS云服务来管理,例如通过配置ECS委托可自动获取AK/SK访问OBS,具体请参见配置MRS集群通过IAM委托对接OBS。
应用场景 大数据在人们的生活中无处不在,在IoT、电子商务、金融、制造、医疗、能源和政府部门等行业均可以使用华为云MRS服务进行大数据处理。 海量数据分析场景 海量数据分析是现代大数据系统中的主要场景。
实时消息管道:用于接收前端采集器推送的实时时序数据,作为实时时序数据接入的统一管道,对应MRS Kafka组件。 实时流处理引擎:从Kafka实时读取时序数据,并进行一些逻辑运算,将实时时序数据写入时序数据库中。
当主Nimbus失效时,备Nimbus会接管,并对外提供服务。 Supervisor失效 Supervisor是工作节点的后台守护进程,是一种快速失效机制,且是无状态的,并不影响正在该节点上运行的Worker,但是会无法接收新的Worker分配。
MRS服务如何对接云日志服务? 前提条件 已获取账号AK和SK,详情请参考:如何获取访问密钥AK/SK。 操作步骤 在MRS主机上安装ICAgent,详情请参考:安装ICAgent(华为云主机)。 首次安装先安装一台服务器,然后按照继承批量安装的方式安装其他所有主机。
CDL常见问题 为什么CDL任务执行后Hudi中没有接收到数据 MySQL链路任务启动时如何从指定位置抓取数据 为什么在Ranger中删除用户权限后,该用户仍能够操作自己创建的任务 父主题: 使用CDL
图1 Flume-NG架构 表1 模块说明 名称 说明 Source Source负责接收数据或通过特殊机制产生数据,并将数据批量放到一个或多个Channel。Source的类型有数据驱动和轮询两种。