检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
输;Kafka 2.4.0及之后版本,Kafka内核支持从follower副本消费数据,在跨机房、机架的场景中,会大大降低数据传输量,减轻网络带宽压力。社区开放了ReplicaSelector接口来支持此特性,MRS Kafka中默认提供两种实现此接口的方式。 RackAware
使用Spark Shell创建Hudi表 操作场景 本指南通过使用spark-shell简要介绍了Hudi功能。使用Spark数据源,将通过代码段展示如何插入和更新Hudi的默认存储类型数据集: COW表。每次写操作之后,还将展示如何读取快照和增量数据。 前提条件 在Manage
使用永洪BI访问MRS HetuEngine 应用场景 永洪BI是一款一站式大数据BI平台,全面覆盖数据分析过程中的各个环节,轻松完成全流程数据分析任务,包括数据采集、清洗、整合、存储、计算、建模、训练、展现、协作等,极大降低了实施、集成、培训的成本。 本章节以Yonghong Desktop
使用Spark Shell创建Hudi表 本章节仅适用于MRS 3.3.1-LTS及之前版本。 操作场景 本章节主要介绍了如何通过spark-shell使用Hudi功能。 使用Spark数据源,通过代码段展示如何插入和更新Hudi的默认存储类型数据集COW表,以及每次写操作之后如何读取快照和增量数据。
配置MRS集群告警屏蔽状态 配置告警屏蔽状态 如果如下特定场景中不希望看到FusionInsight Manager上报指定的告警,可以手动设置屏蔽。 使用过程中,不想关注某些不重要的告警,屏蔽次要告警。 第三方产品集成MRS集群时,部分告警与产品自身的告警信息重复,屏蔽重复告警。
JavaPairDStream:KV DStream的接口,提供reduceByKey和join等操作。 JavaReceiverInputDStream<T>:定义任何从网络接收数据的输入流。 Spark Streaming的常见方法与Spark Core类似,下表罗列了Spark Streaming特有的一些方法。
procId: 64 completed 在Linux中调测Phoenix样例 在linux环境中调测Phoenix样例,需有与集群环境网络相通的ECS,详情请参见准备本地应用开发环境。 修改样例。将样例代码TestMain中“enablePhoenix”值改为“true”,开启调用Phoenix样例程序接口。
上传数据库驱动文件 操作场景 CDL是一种简单、高效的数据实时集成服务,能够从各种OLTP数据库中抓取事件推送至Kafka。通过CDLService WebUI创建数据库连接时,可将数据库对应的驱动文件通过界面上传,方便统一管理。 前提条件 已获取待连接数据库对应的驱动Jar包。
配置MRS集群告警事件消息通知 MRS联合消息通知服务(SMN),采用主题订阅模型,提供一对多的消息订阅以及通知功能,能够实现一站式集成多种推送通知方式(短信和邮件通知)。 在MRS管理控制台,按照集群维度,在集群信息页面的告警页签中能够提供选择是否使能通知服务,只有对应集群开关开启以后,才能实现以下场景的功能:
ALM-45616 CDL任务执行异常 告警解释 系统每60秒为周期检查CDL任务是否异常,如果异常则产生该告警。任务正常运行或者停止后,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 45616 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名
计费模式 选择待创建的MRS集群的计费模式。 按需计费 区域 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 华北-北京四 集群名称 待创建的MRS集群名称。 MRS_demo 集群类型 待创建的MRS集群类型。 选择“自定义”
JavaPairDStream:KV DStream的接口,提供reduceByKey和join等操作。 JavaReceiverInputDStream<T>:定义任何从网络接收数据的输入流。 Spark Streaming的常见方法与Spark Core类似,下表罗列了Spark Streaming特有的一些方法。
JavaPairDStream:KV DStream的接口,提供reduceByKey和join等操作。 JavaReceiverInputDStream<T>:定义任何从网络接收数据的输入流。 Spark Streaming的常见方法与Spark Core类似,下表罗列了Spark Streaming特有的一些方法。
JavaPairDStream:KV DStream的接口,提供reduceByKey和join等操作。 JavaReceiverInputDStream<T>:定义任何从网络接收数据的输入流。 Spark Streaming的常见方法与Spark Core类似,下表罗列了Spark Streaming特有的一些方法。
subnet默认配置为Flink客户端所在节点子网,若客户端与TaskManager不在同一个子网则有可能导致错误,需手动配置为TaskManager所在网络子网(业务IP)。 NettyServerHandler 该Handler是NettySink与订阅者交互的通道,当NettySink接收
默认取值: 不涉及 network_read String 参数解释: 网络读取速度。单位Byte/s。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 network_write String 参数解释: 网络写入速度。单位Byte/s。 约束限制: 不涉及 取值范围: 不涉及
JavaPairDStream:KV DStream的接口,提供reduceByKey和join等操作。 JavaReceiverInputDStream<T>:定义任何从网络接收数据的输入流。 Spark Streaming的常见方法与Spark Core类似,下表罗列了Spark Streaming特有的一些方法。
存储系统上(比如HDFS)。 因为Driver程序在集群上调度任务,所以Driver程序建议和worker节点比较近,比如在一个相同的局部网络内。 Spark on YARN有两种部署模式: yarn-cluster模式下,Spark的Driver会运行在YARN集群内的Appl
mo.jar”。 上传jar包及源数据 将编译后的jar包上传到客户端节点,例如上传到“/opt/client/lib”目录下。 如果本地网络无法直接连接客户端节点上传文件,可先将jar文件或者源数据上传至OBS文件系统中,然后通过MRS管理控制台集群内的“文件管理”页面导入HD
华为云ECS服务提供了一键式重置密码功能,弹性云服务器的密码丢失或过期时,可使用该功能进行一键式重置密码。重置密码插件为ECS内部运行的客户端进程,不对外提供任何网络服务,重置密码插件CloudResetPwdUpdateAgent使用了Apache Log4j2组件,经华为云安全实验室分析验证,ECS重置密码插件无可利用条件,无安全风险。