检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
产生告警的主机名。 对系统的影响 告警长期存在时,会导致Manager频繁主备倒换,用户无法正常登录FusionInsight Manager平台,无法进行正常运维操作。 floatip进程持续重启,可能引起无法访问服务原生UI界面。 可能原因 浮动IP地址异常。 处理步骤 检查主管理节点的浮动IP地址状态。
的数据分区范围较大,压缩效率较低。 内存调优 CarbonData为内存调优提供了一个机制,其中数据加载会依赖于查询中需要的列。不论何时,接收到一个查询命令,将会获取到该查询中的列,并确保内存中这些列有数据加载。在该操作期间,如果达到内存的阈值,为了给查询需要的列提供内存空间,最少使用加载级别的文件将会被删除。
Streaming计算,stopSparkContext用于判断是否需要终止相关的SparkContext,StopGracefully用于判断是否需要等待所有接收到的数据处理完成。 UpdateStateByKey(func) 更新DStream的状态。使用此方法,需要定义State和状态更新函数。
Streaming计算,stopSparkContext用于判断是否需要终止相关的SparkContext,StopGracefully用于判断是否需要等待所有接收到的数据处理完成。 UpdateStateByKey(func) 更新DStream的状态。使用此方法,需要定义State和状态更新函数。
Streaming计算,stopSparkContext用于判断是否需要终止相关的SparkContext,StopGracefully用于判断是否需要等待所有接收到的数据处理完成。 UpdateStateByKey(func) 更新DStream的状态。使用此方法,需要定义State和状态更新函数。
终止Streaming计算,stopSparkContext用于判断是否需要终止相关的SparkContext,StopGracefully用于判断是否需要等待所有接收到的数据处理完成。 UpdateStateByKey(func) 更新DStream的状态。使用此方法,需要定义State和状态更新函数。
的数据分区范围较大,压缩效率较低。 内存调优 CarbonData为内存调优提供了一个机制,其中数据加载会依赖于查询中需要的列。不论何时,接收到一个查询命令,将会获取到该查询中的列,并确保内存中这些列有数据加载。在该操作期间,如果达到内存的阈值,为了给查询需要的列提供内存空间,最少使用加载级别的文件将会被删除。
3.0及之后版本集群请在“主页”右上方单击“下载客户端”),“选择客户端类型”设置为“完整客户端”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64)单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如
Streaming计算,stopSparkContext用于判断是否需要终止相关的SparkContext,StopGracefully用于判断是否需要等待所有接收到的数据处理完成。 UpdateStateByKey(func) 更新DStream的状态。使用此方法,需要定义State和状态更新函数。
MRS集群管理概述 MRS管理平台概述 用户可以在集群创建完成后,通过MRS管理控制台或MRS集群Manager查看集群基本信息并对集群进行管理和运维。 MRS管理控制台:用户可以通过MRS管理控制台的集群管理页面,进行集群概览查看、节点管理、组件管理、告警管理、文件管理、作业管理等操作。
Manager,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64),单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例
DStream的接口,提供reduceByKey和join等操作。 JavaReceiverInputDStream<T>:定义任何从网络接收数据的输入流。 Spark Streaming的常见方法与Spark Core类似,下表罗列了Spark Streaming特有的一些方法。
Client连接到对应的用户表Region所在的RegionServer,并将数据操作命令发送给该RegionServer,RegionServer接收并执行该命令从而完成本次数据操作。 为了提升数据操作的效率,HBase Client会在内存中缓存“hbase:meta”和用户表Regi
},为每条展示事件随机生成0-5条点击事件,点击事件的时间取值范围为{展示事件时间 至展示事件时间+5m } 开发思路 使用Structured Streaming接收Kafka中数据,生成请求流、展示流、点击流。 对请求流、展示流、点击流的数据进行关联查询。 统计结果写入kafka。 应用中监控流处理任务的状态。
},为每条展示事件随机生成0-5条点击事件,点击事件的时间取值范围为{展示事件时间 至展示事件时间+5m } 开发思路 使用Structured Streaming接收Kafka中数据,生成请求流、展示流、点击流。 对请求流、展示流、点击流的数据进行关联查询。 统计结果写入kafka。 应用中监控流处理任务的状态。
部分配置可能需要填写加密后的信息,请参见使用Flume客户端加密工具。 常用Source配置 Avro Source Avro Source监测Avro端口,接收外部Avro客户端数据并放入配置的Channel中。常用配置如表1所示: 图1 Avro Source 表1 Avro Source常用配置
DStream的接口,提供reduceByKey和join等操作。 JavaReceiverInputDStream<T>:定义任何从网络接收数据的输入流。 Spark Streaming的常见方法与Spark Core类似,下表罗列了Spark Streaming特有的一些方法。
格丰富并且可弹性扩展的块存储服务,可满足不同场景的业务需求。 扩容数据盘 云监控服务(Cloud Eye) 云监控服务为用户提供立体化监控平台。使您全面了解MRS的资源使用情况、业务的运行状况,并及时收到异常告警做出反应,保证业务顺畅运行。 - 裸金属服务器(Bare Metal
中的主机加入已选主机列表。只支持选择本集群中的主机。资源池中的主机列表可以为空。 根据业务需求,可以通过主机名称 、核数、内存、操作系统、平台类型,筛选需要选取的资源主机。 MRS 2.x及之前版本: “名称”:填写资源池的名称。不支持创建名称为“Default”的资源池。 资源
在组件服务配置修改的参数和创建集群时选择的自定义软件配置的参数不会克隆到新集群。 资源池维度的弹性伸缩策略不支持克隆。 克隆集群时克隆作业: 未通过console平台或调用v2新增并执行作业接口提交的作业无法在克隆集群时克隆 DistCp、Flink、SQL类(SparkSQL、HiveSQL等)作业类型无法克隆