检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink的安全都为开源社区提供和自身研发。有些是需要用户自行配置的安全特性,如认证、SSL传输加密等,这些特性可能对性能和使用方便性造成一定影响。 Flink作为大数据计算和分析平台,对客户输入的数据是否包含敏感信息无法感知,因此需要客户保证输入数据是脱敏的。 客户可以根据应用环境,权衡配置安全与否。 任何与安全有关的问题,请联系运维人员。
worker中开启profiling。通过sc.show_profiles()展示分析结果。或者在driver退出前展示分析结果。可以通过sc.dump_profiles(path) 将结果转储到磁盘中。如果一些分析结果已经手动展示,那么在Driver退出前,它们将不会再自动展示。 默认使用pyspark
Flink的安全都为开源社区提供和自身研发。有些是需要用户自行配置的安全特性,如认证、SSL传输加密等,这些特性可能对性能和使用方便性造成一定影响。 Flink作为大数据计算和分析平台,对客户输入的数据是否包含敏感信息无法感知,因此需要客户保证输入数据是脱敏的。 客户可以根据应用环境,权衡配置安全与否。 任何与安全有关的问题,请联系运维人员。
checkpointing.mode: EXACTLY_ONCE 通过查看监控信息定位Back Pressure点 Flink提供了很多的监控指标,根据这些指标可以分析任务过程中的性能状况及瓶颈。 【示例】配置采样的样本数和时间间隔: # 有效的反压结果被废弃并重新进行采样的时间,单位ms web.backpressure
出Manager和删除ECS等)。在选择Core节点时,会优先选择存储数据量较小,且可退服实例健康状态良好的节点,避免节点退服失败。例如在分析集群上,Core节点安装了DataNode,缩容时会优先选择DataNode存储数据量较小且健康状态良好的节点。 Core节点在缩容的时候
xception异常,导致无法消费。 Consumer发生网络导致的ClosedChannelException异常,导致无法消费。 原因分析 Storm、Spark、Flume或者自定义Consumer代码可以都称为Consumer。 查看Kafka服务状态: MRS Manager界面操作:登录MRS
对外提供任何网络服务,重置密码插件CloudResetPwdUpdateAgent使用了Apache Log4j2组件,经华为云安全实验室分析验证,ECS重置密码插件无可利用条件,无安全风险。 如果用户需要升级该插件中的Log4j2版本,可通过下面的步骤升级插件: 将“MRS_Log4j_Patch
run(ThreadPoolExecutor.java:615) at java.lang.Thread.run(Thread.java:745) 原因分析 HDFS客户端开始写Block。 例如:HDFS客户端是在2015-05-27 18:50:24,232开始写/20150527/10/
Calcite来进行查询的解析,校验以及优化,可以与DataStream和DataSet API无缝集成,并支持用户自定义的标量函数,聚合函数以及表值函数。简化数据分析、ETL等应用的定义。下面代码示例展示了如何使用Flink SQL语句定义一个会话点击量的计数应用。 SELECT userId, COUNT(*)
stHdfs?op=CREATE&delegation=HgAFYWRtaW4FYWRtaW4AigFUf4lZdIoBVKOV3XQOCBSyXvFAp92alcRs4j-KNulnN6wUoBJXRUJIREZTIGRlbGVnYXRpb24UMTAuMTIwLjE3Mi4x
stHdfs?op=CREATE&delegation=HgAFYWRtaW4FYWRtaW4AigFUf4lZdIoBVKOV3XQOCBSyXvFAp92alcRs4j-KNulnN6wUoBJXRUJIREZTIGRlbGVnYXRpb24UMTAuMTIwLjE3Mi4x
core_node_analysis_group:分析Core节点组,分析集群、混合集群均需包含该节点组。 core_node_streaming_group:流式Core节点组,流式集群和混合集群均需包含该节点组。 task_node_analysis_group:分析Task节点组,分析集群和混合集群可根据需要选择该节点组。
stHdfs?op=CREATE&delegation=HgAFYWRtaW4FYWRtaW4AigFUf4lZdIoBVKOV3XQOCBSyXvFAp92alcRs4j-KNulnN6wUoBJXRUJIREZTIGRlbGVnYXRpb24UMTAuMTIwLjE3Mi4x
Server实例节点需要同时退服缩容,否则会造成逻辑集群拓扑信息错乱。 该操作执行前需检查逻辑集群内各节点的数据库和数据表信息,进行缩容预分析,保证缩容退服过程中数据迁移成功,避免数据丢失。 进行缩容操作前,提前收集信息进行ClickHouse逻辑集群及实例节点状态判断。观察Cl
Manager修改了服务配置参数并重启了服务,请重新准备好客户端配置文件并更新客户端。 场景1: A集群和B集群(对端集群、互信集群)是同类型集群,例如均是分析集群或者流式集群,请参见更新客户端配置(2.x及之前版本)分别更新客户端配置文件。 更新A集群的客户端配置文件。 更新B集群的客户端配置文件。
HBase服务增加了MetricController实例,开启热点检测能力,能够监控每个RegionServer节点的请求流量,通过聚合分析,识别出请求偏高的节点和Region,有助于快速发现热点问题;并提供一定的热点问题自愈能力,比如热点Region自动转移或Split。对于
core_node_analysis_group:分析Core节点组,分析集群、混合集群均需包含该节点组。 core_node_streaming_group:流式Core节点组,流式集群和混合集群均需包含该节点组。 task_node_analysis_group:分析Task节点组,分析集群和混合集群可根据需要选择该节点组。
false:安装未完成。 默认取值: 不涉及 clusterType Integer 参数解释: 集群类型。 约束限制: 不涉及 取值范围: 0:分析集群。 1:流式集群。 2:混合集群。 3:自定义集群。 4:离线集群。 默认取值: 不涉及 logCollection Integer 参数解释:
false:安装未完成。 默认取值: 不涉及 clusterType Integer 参数解释: 集群类型。 约束限制: 不涉及 取值范围: 0:分析集群。 1:流式集群。 2:混合集群。 3:自定义集群。 4:离线集群。 默认取值: 不涉及 logCollection Integer 参数解释: