检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
RocksDB的方式为merge()->merge()....->merge()->read(),该方式读取数据时非常耗时,如图1所示。 source算子在瞬间发送了大量数据,所有数据的key值均相等,导致window算子处理速度过慢,使barrier在缓存中积压,快照的制作时间过长,导致window
RocksDB的方式为merge()->merge()....->merge()->read(),该方式读取数据时非常耗时,如图1所示。 source算子在瞬间发送了大量数据,所有数据的key值均相等,导致window算子处理速度过慢,使barrier在缓存中积压,快照的制作时间过长,导致window
RocksDB的方式为merge()->merge()....->merge()->read(),该方式读取数据时非常耗时,如图1所示。 source算子在瞬间发送了大量数据,所有数据的key值均相等,导致window算子处理速度过慢,使barrier在缓存中积压,快照的制作时间过长,导致window
MRS集群用户认证策略 大数据平台用户需要对用户进行身份认证,防止不合法用户访问集群。安全模式或者普通模式的集群均提供认证能力。 安全模式 安全模式的集群统一使用Kerberos认证协议进行安全认证。Kerberos协议支持客户端与服务端进行相互认证,提高了安全性,可有效消除使用网络发送用户凭据进行
配置Spark HA增强高可用 配置Spark Native引擎 配置Spark事件队列大小 配置parquet表的压缩格式 使用Ranger时适配第三方JDK 配置Spark小文件自动合并 使用Spark小文件合并工具说明 配置流式读取Spark Driver执行结果 配置Spark Executor退出时执行自定义代码
节点。 方案架构 租户是MRS大数据平台的核心概念,使传统的以用户为核心的大数据平台向以多租户为核心的大数据平台转变,更好的适应现代企业多租户应用环境,如图1所示。 图1 以用户为核心的平台和以多租户为核心的平台 对于以用户为核心的大数据平台,用户直接访问并使用全部的资源和服务。
Flink对接应用运维管理(AOM) 本章节适用于MRS 3.5.0及之后的版本。 Flink对接AOM服务场景介绍 应用运维管理(AOM)服务是一个可观测平台,基于指标、链路、日志、事件全景数据监控,提供一体化监控能力。Flink可以通过AOM服务的Prometheus实例将监控指标推送至AOM
您可以在管理控制台选择页面上方的“费用 > 费用账单”,进入费用中心后,在“总览”页面设置“可用额度预警”功能,当可用额度低于预警阈值时,系统自动发送短信和邮件提醒。 当产生欠费后,请您及时充值使可用额度大于0。
HBase访问ZooKeeper应用开发示例。 在同一个客户端进程内同时访问MRS ZooKeeper和第三方的ZooKeeper,其中HBase客户端访问MRS ZooKeeper,客户应用访问第三方ZooKeeper。 父主题: HBase应用开发概述
HBase访问ZooKeeper应用开发示例。 在同一个客户端进程内同时访问MRS ZooKeeper和第三方的ZooKeeper,其中HBase客户端访问MRS ZooKeeper,客户应用访问第三方ZooKeeper。 父主题: HBase应用开发概述
Flume常见问题 如何查看Flume日志 如何在Flume配置文件中使用环境变量 如何开发Flume第三方插件 如何配置Flume定制脚本 父主题: 使用Flume
PyFlink样例程序开发思路 假定业务平台需要提交Flink任务到MRS集群,业务平台主要使用的语言是Python,提供Python读写Kafka作业和Python提交SQL作业的样例。 本场景适用于MRS 3.3.0及以后的集群版本。 父主题: PyFlink样例程序
PyFlink样例程序开发思路 假定业务平台需要提交Flink任务到MRS集群,业务平台主要使用的语言是Python,提供Python读写Kafka作业和Python提交SQL作业的样例。 本场景适用于MRS 3.3.0及以后的集群版本。 父主题: PyFlink样例程序
Flume常见问题 如何查看Flume日志 如何在Flume配置文件中使用环境变量 如何开发Flume第三方插件 如何配置Flume定制脚本 父主题: 使用Flume
配置MRS集群节点引导操作 MRS节点引导操作概述 准备MRS节点引导操作脚本 添加MRS节点引导操作安装第三方软件 查看MRS节点引导操作执行记录 父主题: 管理MRS集群节点
Pipeline样例程序开发思路 场景说明 本样例中发布者Job自己每秒钟产生10000条数据,然后经由该job的NettySink算子向下游发送。另外两个Job作为订阅者,分别订阅一份数据。 数据规划 发布者Job使用自定义算子每秒钟产生10000条数据 数据包含两个属性:分别是Int和String类型
健康情况,当监控数据达到告警阈值,系统将会触发一条告警信息。 MRS还可以与华为云消息通知服务(SMN)的消息服务系统对接,将告警信息通过短信或者邮件等形式推送给用户。具体介绍请参见集群状态消息通知。 补丁管理 MRS集群支持补丁操作,会及时发布开源大数据组件的补丁。用户能够在M
Pipeline样例程序开发思路 场景说明 本样例中发布者Job自己每秒钟产生10000条数据,然后经由该job的NettySink算子向下游发送。另外两个Job作为订阅者,分别订阅一份数据。 数据规划 发布者Job使用自定义算子每秒钟产生10000条数据 数据包含两个属性:分别是Int和String类型
Pipeline样例程序开发思路 场景说明 本样例中发布者Job自己每秒钟产生10000条数据,然后经由该job的NettySink算子向下游发送。另外两个Job作为订阅者,分别订阅一份数据。 数据规划 发布者Job使用自定义算子每秒钟产生10000条数据。 数据包含两个属性:分别是Int和String类型。
OpenTSDB是否支持Python的接口? 如何获取Spark Jar包? 使用调整集群节点接口时参数node_id如何配置? MRS集群组件如何管理和使用第三方jar包