检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
合回撤机制实现聚合结果数据的更新。 优点：可以解决聚合准确性问题，而且对用户友好，对数据没有要求。 缺点：大数据量情况下状态后端存储的数据比较多。 通过CDC格式数据解决 CDC格式数据是指更新操作记录中会同时包含更新前数据和更新后数据。通过更新前的内容来回撤掉之前的聚合结果，通过更新后的数据更新最新的计算结果。
使用REST接口操作Namespace 功能简介 使用REST服务，传入对应host与port组成的url以及指定的Namespace，通过HTTPS协议，对Namespace进行创建、查询、删除，获取指定Namespace中表的操作。 HBase表以“命名空间:表名”格式进行存
使用REST接口操作Namespace 功能简介 使用REST服务，传入对应host与port组成的url以及指定的Namespace，通过HTTP协议，对Namespace进行创建、查询、删除，获取指定Namespace中表的操作。 HBase表以“命名空间:表名”格式进行存储
网络读包丢包率超过阈值（2.x及以前版本） 告警解释 系统每30秒周期性检测网络读包丢包率，并把实际丢包率和阈值（系统默认阈值0.5%）进行比较，当检测到网络读包丢包率连续多次（默认值为5）超过阈值时产生该告警。 用户可通过“系统设置 > 阈值配置 > 设备 > 主机 > 网络读信息
k的对外接口，负责向调用该类的Java应用提供Spark的各种功能，如连接Spark集群，创建RDD，累积量和广播量等。它的作用相当于一个容器。 SparkConf：Spark应用配置类，如设置应用名称，执行模式，executor内存等。 JavaRDD：用于在java应用中定义
childopts，则该参数会与服务端参数worker.gc.childopts共同配置，但是后面的相同参数会将前面的覆盖掉，如上面图有两个-Xmx，-Xmx1G会覆盖掉-Xmx4096m。 如果配置了topology.worker.gc.childopts则服务端参数worker.gc
ClickHouse逻辑视图设计 建议如下： 业务逻辑上有很多比较复杂的SQL运算，可以封装为一个视图，后续查询时只查询视图，简化业务查询使用。 如果业务间有权限隔离诉求，可将部分数据查询封装到视图中，使用视图方只能看到视图下有限行及列的数据。 父主题： ClickHouse应用开发规范
2M。并且建议“-XX:MaxDirectMemorySize”值不小于512M。 选择“更多 > 重启服务”重启服务。 在Hive服务重启期间，正在重启的实例无法对外提供服务，且对应实例上正在执行的SQL任务可能失败。 观察界面告警是否清除。 是，处理完毕。 否，执行7。 收集故障信息。
ALM-14039 集群内存在慢DataNode 告警解释 系统每60秒周期性检测HDFS DataNode实例每秒出现的慢操作次数，并把次数与阈值相比较。当HDFS DataNode实例持续3分钟出现每秒的慢操作次数超出阈值，产生该告警。 当HDFS DataNode实例每秒出现的慢操作次数小于或等于阈值时，告警恢复。
Xmx”设置为4G时，“-XX:MaxMetaspaceSize”设置为512M。 选择“更多 > 重启服务”重启服务。 在Hive服务重启期间，正在重启的实例无法对外提供服务，且对应实例上正在执行的SQL任务可能失败。 观察界面告警是否清除。 是，处理完毕。 否，执行7。 收集故障信息。
DBService超过最大连接数后导致Hive MetaStore异常 问题背景与现象 DBService默认最大连接数是300，如果当业务量比较大，导致连接DBService的最大连接数超过300时，MetaStore会出现异常，并报slots are reserved for
均衡。 慎用分布式表批量插入 写分布式表，数据会分发到集群的所有本地表，每个本地表插入的数据量是总插入量的1/N，batch size可能比较小，导致data part过多，merge压力变大，甚至出现异常影响数据插入； 数据的一致性问题：数据先在分布式表写入节点的主机落盘，然后
Load在导入数据时要利用Doris集群资源对数据进行排序，相对于Spark Load来完成海量历史数据迁移，对Doris的集群资源占用比较大。Broker Load方式是在用户没有Spark计算资源的情况下使用，如果有Spark计算资源建议使用Spark Load。 用户需要通过MySQL协议创建Broker
在旧版本中，对Hive表的分区修剪的谓词下推，只支持列名与整数或者字符串的比较表达式的下推，在2.3版本中，增加了对null、in、and、or表达式的下推支持。 配置参数 登录FusionInsight Manager系统，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。
ALM-38001 Kafka磁盘容量不足 告警解释 系统按60秒周期检测Kafka磁盘空间使用率，并把实际磁盘使用率和阈值相比较。磁盘使用率默认提供一个阈值范围。当检测到磁盘使用率高于阈值时产生该告警。 用户可通过“运维 > 告警 > 阈值设置”，在服务列表下面，选择“Kafka
操作场景 CDL支持多种场景的数据同步或比较任务，本章节指导用户通过开启Kerberos认证的集群的CDLService WebUI界面从PgSQL导入数据到Kafka，更多CDL作业示例请参见创建CDL作业。 前提条件 集群已安装CDL、Kafka服务且运行正常。 PostgreSQL
优点：读取时，只读取对应分区的一个数据文件即可，较为高效。 缺点：数据写入的时候，需要复制一个先前的副本再在其基础上生成新的数据文件，这个过程比较耗时。且由于耗时，读请求读取到的数据相对就会滞后。 Merge On Read 读时合并表也简称mor表，使用列格式parquet和行格式
优点：读取时，只读取对应分区的一个数据文件即可，较为高效。 缺点：数据写入的时候，需要复制一个先前的副本再在其基础上生成新的数据文件，这个过程比较耗时。且由于耗时，读请求读取到的数据相对就会滞后。 Merge On Read 读时合并表也简称mor表，使用列格式parquet和行格式
hadoop.hbase.rest.client.Cluster类的集群对象，通过调用集群类的add方法和REST server的集群IP和端口来添加集群。 Cluster cluster = new Cluster(); cluster.add("10.10.10.10:21309");
重启受影响的服务或实例，观察界面告警是否清除。 是，处理完毕。 否，执行6。 服务或实例重启过程中，业务会出现中断，待服务或实例重启成功后业务恢复。 收集故障信息。 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的如下节点信息。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
