检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
RocksDB的方式为merge()->merge()....->merge()->read(),该方式读取数据时非常耗时,如图1所示。 source算子在瞬间发送了大量数据,所有数据的key值均相等,导致window算子处理速度过慢,使barrier在缓存中积压,快照的制作时间过长,导致window
配置Spark HA增强高可用 配置Spark Native引擎 配置Spark事件队列大小 配置parquet表的压缩格式 使用Ranger时适配第三方JDK 配置Spark小文件自动合并 使用Spark小文件合并工具说明 配置流式读取Spark Driver执行结果 配置Spark Executor退出时执行自定义代码
RocksDB的方式为merge()->merge()....->merge()->read(),该方式读取数据时非常耗时,如图1所示。 source算子在瞬间发送了大量数据,所有数据的key值均相等,导致window算子处理速度过慢,使barrier在缓存中积压,快照的制作时间过长,导致window
RocksDB的方式为merge()->merge()....->merge()->read(),该方式读取数据时非常耗时,如图1所示。 source算子在瞬间发送了大量数据,所有数据的key值均相等,导致window算子处理速度过慢,使barrier在缓存中积压,快照的制作时间过长,导致window
RocksDB的方式为merge()->merge()....->merge()->read(),该方式读取数据时非常耗时,如图1所示。 source算子在瞬间发送了大量数据,所有数据的key值均相等,导致window算子处理速度过慢,使barrier在缓存中积压,快照的制作时间过长,导致window
S联合消息通知服务(SMN),可以将以上信息主动地通知到用户的手机及邮箱,让维护更加省心省力。 客户价值 配置消息通知后,可以实时给用户发送MRS集群健康状态,用户可以通过手机短信或邮箱实时接收到MRS集群变更及组件告警信息。MRS可以帮助用户轻松运维,实时监控,实时发送告警,操作灵活,使大数据业务部署更加省心省力。
kServer和客户端三种方式对接AOM服务,将Flink监控指标上传至AOM服务。 Flink对接AOM服务前提条件 已开通应用运维管理AOM服务。 MRS集群中已安装HDFS、Yarn、Kafka和Flink服务。 包含Flink服务的客户端已安装,例如安装路径为:/opt/client
Flume常见问题 如何查看Flume日志 如何在Flume配置文件中使用环境变量 如何开发Flume第三方插件 如何配置Flume定制脚本 父主题: 使用Flume
Flume常见问题 如何查看Flume日志 如何在Flume配置文件中使用环境变量 如何开发Flume第三方插件 如何配置Flume定制脚本 父主题: 使用Flume
PyFlink样例程序开发思路 假定业务平台需要提交Flink任务到MRS集群,业务平台主要使用的语言是Python,提供Python读写Kafka作业和Python提交SQL作业的样例。 本场景适用于MRS 3.3.0及以后的集群版本。 父主题: PyFlink样例程序
PyFlink样例程序开发思路 假定业务平台需要提交Flink任务到MRS集群,业务平台主要使用的语言是Python,提供Python读写Kafka作业和Python提交SQL作业的样例。 本场景适用于MRS 3.3.0及以后的集群版本。 父主题: PyFlink样例程序
HBase访问ZooKeeper应用开发示例。 在同一个客户端进程内同时访问MRS ZooKeeper和第三方的ZooKeeper,其中HBase客户端访问MRS ZooKeeper,客户应用访问第三方ZooKeeper。 父主题: HBase应用开发概述
HBase访问ZooKeeper应用开发示例。 在同一个客户端进程内同时访问MRS ZooKeeper和第三方的ZooKeeper,其中HBase客户端访问MRS ZooKeeper,客户应用访问第三方ZooKeeper。 父主题: HBase应用开发概述
OpenTSDB是否支持Python的接口? 如何获取Spark Jar包? 使用调整集群节点接口时参数node_id如何配置? MRS集群组件如何管理和使用第三方jar包
配置MRS集群节点引导操作 MRS节点引导操作概述 准备MRS节点引导操作脚本 添加MRS节点引导操作安装第三方软件 查看MRS节点引导操作执行记录 父主题: 管理MRS集群节点
导入导出FlinkServer作业信息 配置FlinkServer作业运行残留信息自动清理 配置FlinkServer作业重启策略 配置FlinkServer作业中添加第三方依赖jar 配置FlinkServer作业中使用UDF 配置FlinkServer UDF安全沙箱 父主题: 使用Flink
MRS集群保留JDK说明 MRS集群是租户完全可控的大数据应用开发平台,用户基于平台开发业务后,将业务程序部署到大数据平台运行。由于需要具备开发调测能力,因此要在MRS集群中保留JDK。 此外,MRS集群功能中如下关键特性也强依赖JDK。 HBase BulkLoad HBase
Core企业级能力增强 配置Spark HA增强高可用 配置Spark事件队列大小 配置parquet表的压缩格式 使用Ranger时适配第三方JDK 使用Spark小文件合并工具说明 配置流式读取Spark Driver执行结果 父主题: 使用Spark2x(MRS 3.x及之后版本)
Impala Impala Impala直接对存储在HDFS、HBase或对象存储服务(OBS)中的Hadoop数据提供快速、交互式SQL查询。除了使用相同的统一存储平台之外,Impala还使用与Apache Hive相同的元数据,SQL语法(Hive SQL),ODBC驱动程序
接口说明 注册服务器接口 注册服务器用来保存NettySink的IP、端口以及并发度信息,以便NettySource连接使用。为用户提供以下接口: public interface RegisterServerHandler { /** * 启动注册服务器 * @param