检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--partitions=新Partition数目 新Partition数目建议配置为Kafka数据磁盘数量的倍数。 当前步骤修改可能不会很快解决当前告警,需要结合数据保存时间逐渐均衡数据。 考虑是否需要扩容。 是,请为集群添加节点,然后执行17。 否,执行17。 等待一段时间,检查告警是否清除。
此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 节点互信异常处理方法如下: 本操作需使用omm用户执行。 如果节点间网络不通,请先解决网络不通的问题,可以检查两个节点是否在同一个安全组,是否有设置hosts.deny、hosts.allow 等。 在两端节点执行ssh-add
repository”参数,依次单击“Apply > OK”。 图12 选择本地Maven安装目录 设置IntelliJ IDEA的文本文件编码格式,解决乱码显示问题。 在IntelliJ IDEA的菜单栏中,选择“File > Settings...”。 图13 Settings 在弹出的
table_name;,进行全表查询,表内数据过多。 beeline默认启动内存128M,查询时返回结果集过大,导致beeline无法承载导致。 解决办法 执行select count(*) from table_name;前确认需要查询的数据量大小,确认是否需要在beeline中显示如此数量级的数据。
e HDFS时,建议使用的版本为2.8.X、3.1.X,请执行搬迁前务必确认是否支持搬迁。 方案架构 CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。 CD
操作步骤 使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger WebUI界面。 在首页中单击“PRESTO”区域的“HetuEngine”。 在“Access”页签单击“Add New Policy”,添加HetuEngine权限控制策略。
t Node上的性能监控数据和告警数据。 CAS 统一认证中心,登录Web Service时需要在CAS进行登录认证,浏览器通过URL自动跳转访问CAS。 AOS 权限管理模块,管理用户和用户组的权限。 ACS 用户和用户组管理模块,管理用户及用户归属的用户组。 Kerberos
请求体大小有限制,而一次写入的数据量超过了这个限制。 规避:修改Nginx配置项client_max_body_size为一个较大的值。 解决:写本地表,不要通过balancer写入数据。 建议 查询增加重试机制 clickhouse-example.properties的配置文
那么就会抛出OOM(OutOfMemory)的异常,然后Driver端一直在进行GC,尝试回收垃圾来存放返回的数据,导致应用长时间挂起。 解决措施: 如果用户需要在OOM场景下强制将应用退出,那么可以在启动Spark Core应用时,在客户端配置文件“$SPARK_HOME/conf/spark-defaults
单点登录(包括单点登录和单点登出)。用户只需要登录一次,即可在Manager WebUI和组件Web UI之间,甚至第三方系统之间进行任务跳转操作,无需切换用户重新登录。 出于安全考虑,CAS Server只能保留用户使用的TGT(ticket-granting ticket)20分钟。
那么就会抛出OOM(OutOfMemory)的异常,然后Driver端一直在进行GC,尝试回收垃圾来存放返回的数据,导致应用长时间挂起。 解决措施: 如果用户需要在OOM场景下强制将应用退出,那么可以在启动Spark Core应用时,在客户端配置文件“$SPARK_HOME/conf/spark-defaults
ps://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients。 为了解决Beeline两种场景下连接问题,增加了在Beeline连接中添加认证信息。在JDBC的URL中增添了user.keytab和user.p
96m。 如果配置了topology.worker.gc.childopts则服务端参数worker.gc.childopts会被替换。 解决办法 如果想要修改拓扑的JVM参数,可以在命令中直接修改topology.worker.gc.childopts这个参数或者在服务端修改该参数,当topology
<port>2181</port> </node> </zookeeper> ... 集群配置完成后,具体后续怎么使用可以参考ClickHouse表创建章节描述。 父主题: ClickHouse集群管理
步骤2:创建CDM集群并绑定EIP 步骤3:创建MySQL连接 步骤4:创建Hive连接 步骤5:创建迁移作业 方案架构 CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。 CD
来越多,数据产生的速度越来越快。传统的数据处理技术,比如说单机存储,关系数据库已经无法解决这些新的大数据问题。为解决以上大数据处理问题,Apache基金会推出了Hadoop大数据处理的开源解决方案。Hadoop是一个开源分布式计算平台,可以充分利用集群的计算和存储能力,完成海量数
登录MRS管理控制台。 在“现有集群”列表中,单击指定的集群名称。 记录集群的“可用区”、“虚拟私有云”、“集群管理页面”、“安全组”。 在管理控制台首页服务列表中选择“弹性云服务器”,进入ECS管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。
缓存命中率低于60%,导致block cache频繁的换入换出。 处理步骤 检查是否Level0层SST文件数太多 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”。 在告警列表中,查看是否存在告警“ALM-45644 RocksDB的Level0层SST文件数持续超过阈值”。
ps://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients。 为了解决Beeline两种场景下连接问题,增加了在Beeline连接中添加认证信息。在JDBC的URL中增添了user.keytab和user.p
那么就会抛出OOM(OutOfMemory)的异常,然后Driver端一直在进行GC,尝试回收垃圾来存放返回的数据,导致应用长时间挂起。 解决措施: 如果用户需要在OOM场景下强制将应用退出,那么可以在启动Spark Core应用时,在客户端配置文件“$SPARK_HOME/conf/spark-defaults