检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
tore有关。 图3 堆栈中metadata字样 查看MetaStore日志,发现如下报错。 图4 MetaStore日志 查看如上错误的上下文,确定是本次执行SQL的报错,在报错信息里面发现如下内容: Caused by: org.postgresql.util.PSQLException:
个任务分别配置不同的资源执行来节省资源使用。 执行资源 Compaction调度的间隔应小于Compaction计划生成的间隔,例如1小时左右生成一个Compaction计划的话,执行Compaction计划的调度任务应该至少半小时调度一次。 Compaction作业配置的资源,
Structured Streaming支持的功能 支持对流式数据的ETL操作。 支持流式DataFrames或Datasets的schema推断和分区。 流式DataFrames或Datasets上的操作:包括无类型,类似SQL的操作(比如select、where、groupBy),
Structured Streaming支持的功能 支持对流式数据的ETL操作。 支持流式DataFrames或Datasets的schema推断和分区。 流式DataFrames或Datasets上的操作:包括无类型,类似SQL的操作(比如select、where、groupBy),
Structured Streaming支持的功能 支持对流式数据的ETL操作。 支持流式DataFrames或Datasets的schema推断和分区。 流式DataFrames或Datasets上的操作:包括无类型,类似SQL的操作(比如select、where、groupBy),
进行调整。 例如,如果一个container默认使用512M,则内存使用的计算公式为:512M*container数。 默认情况下,Map或Reduce container会使用1个虚拟CPU内核和1024MB内存,ApplicationMaster使用1536MB内存。 参数 描述
进行调整。 例如,如果一个container默认使用512M,则内存使用的计算公式为:512M*container数。 默认情况下,Map或Reduce container会使用1个虚拟CPU内核和1024MB内存,ApplicationMaster使用1536MB内存。 参数 描述
确认Sqoop客户端和HBase客户端是否在同一个路径下。 是,执行2。 否,删除原有的Sqoop和HBase客户端文件,从FusionInsight Manager上下载完整的客户端安装在同一路径下,执行2。 以root用户登录Sqoop客户端安装节点。 下载以下HBase 1.6.0版本的jar包上传到Sqoop客户端的“lib”目录下。
cookie认证。根据日志提示,发现配置文件中“security.kerberos.login.keytab :”配置项错误,未进行安全配置。 解决办法 从MRS上下载用户的keytab认证文件,并放置到Flink客户端所在节点的某个目录下。 在“flink-conf.yaml”文件中配置: keytab路径。
配置脱敏策略成功 验证脱敏策略的传递性: create table hivetest02 as select * from hivetest; 等待1分钟左右Ranger策略同步至Hive组件后,执行以下命令验证脱敏策略是否传递成功: select * from hivetest02; 如下图显示则表示脱敏策略传递成功:
多业务量、高并发的情况可以考虑扩容实例。 选择“概览 > 重启服务”,重启IoTDB服务使配置生效。 在IoTDB服务重启期间,读写请求任务会中断。 等待120s左右,观察界面告警是否清除。 是,处理完毕。 否,执行6。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志
yaml”文件各参数是否配置正确。 对于开启Kerberos认证的集群配置项包括Kerberos的keytab、principal等。 从KDC服务器上下载用户keytab,并将keytab放到Flink客户端所在主机的某个文件夹下(例如/home/flinkuser/keytab)。 在“
NameNode节点内存不足。 Spark进程内存不足。 处理步骤 若告警原因为:Spark2x assembly包异常,则表示Spark的包存在异常,等待10分钟左右,告警自动恢复。 检查Spark2x依赖的服务是否有服务不可用告警。 在FusionInsight Manager首页,选择“运维 > 告警
添加Spark2x的Ranger访问权限策略 添加Kafka的Ranger访问权限策略 添加HetuEngine的Ranger访问权限策略 策略添加后,需等待30秒左右,待系统生效。 组件每次启动都会检查组件默认的Ranger Service是否存在,如果不存在则会创建以及为其添加默认Policy。如果用
key时,就会大大减少需要拉取的数据数量,从而也就减少了磁盘IO以及网络传输开销。通常来说,在可能的情况下,建议使用reduceByKey或aggregateByKey算子来替代掉groupByKey算子。因为reduceByKey和aggregateByKey算子都会使用用户自
truststore: ssl/flink.truststore 配置keystore或truststore文件路径为绝对路径时,需要在Flink Client以及各个节点的该绝对路径上放置keystore或truststore文件。 security.ssl.internal.keystore:
资源计划内的节点数量上下限,取值范围[0,500],在资源计划时间内,集群Task节点数量小于最小节点数时,弹性伸缩会将集群Task节点一次性扩容到最小节点数。在资源计划时间内,集群Task节点数量大于最大节点数时,弹性伸缩会将集群Task节点一次性缩容到最大节点数。最小节点数必须小于或等于最大节点数。
添加Spark2x的Ranger访问权限策略 添加Kafka的Ranger访问权限策略 添加Storm的Ranger访问权限策略 策略添加后,需等待30秒左右,待系统生效。 组件每次启动都会检查组件默认的Ranger Service是否存在,如果不存在则会创建以及为其添加默认Policy。如果用
T表/视图。 HetuEngine支持的MySQL数据源的Schema和Table名称不区分大小写。 不支持在具有CHAR或VARCHAR等文本类型的列上下推任何谓词。 例如:由于name是VARCHAR类型的列,因此如下两个查询的谓词均不会下推。 SELECT * FROM nation
union(JavaDStream<T> first,java.util.List<JavaDStream<T>> rest) 从多个具备相同类型和滑动时间的DStream中创建统一的DStream。 表4 Streaming增强特性接口 方法 说明 JAVADStreamKafkaWriter