正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
statistics.ndv.maxError 在生成列级别统计信息时,HyperLogLog++算法允许的最大估计误差。 0.05 0-1 spark.sql.statistics.percentile.accuracy 在生成等高直方图时百分位估计的准确率。该值越大意味着越准确。估计错误值可以通过(1
statistics.ndv.maxError 在生成列级别统计信息时,HyperLogLog++算法允许的最大估计误差。 0.05 0-1 spark.sql.statistics.percentile.accuracy 在生成等高直方图时百分位估计的准确率。该值越大意味着越准确。估计错误值可以通过(1
FSTableDescriptor继承自org.apache.hadoop.hbase.HTableDescriptor,没有新增接口,但是如果要使用JAVA接口创建HFS表来存储文件,必须使用该类。 org.apache.hadoop.hbase.filestream.client.FSPut继承自org
在主NameNode节点上,系统每5分钟检测其上的FsImage文件的信息。如果在三个合并周期没有新的FsImage文件生成,则系统产生该告警。 当新的FsImage文件生成并成功推送到主NameNode,说明HDFS元数据合并功能恢复正常,告警自动恢复。 告警属性 告警ID 告警级别 是否自动清除 14013 重要
ZNode的名称,建议与Hudi表名相同 无 hoodie.write.lock.zookeeper.connection_timeout_ms zk连接超时时间 15000 hoodie.write.lock.zookeeper.port zk端口号 无 hoodie.write.lock
enldap版本为2.4.39或更高时,主备LDAP节点服务自动采用SASL External机制进行数据同步,避免密码信息被非法获取。 集群中的LDAP服务默认支持SSLv3协议,可安全使用。当升级openldap版本为2.4.39或更高时,LDAP将自动使用TLS 1.0以上的协议通讯,避免未知的安全风险。
集群的Core节点除了MRS组件运行占用外,Yarn上的作业还会被分配到节点运行,占用节点内存。若是由于Yarn作业占用内存多导致组件无法正常启动时,建议扩容Core节点。 父主题: 使用HBase
11:31:15 用户hive向MetaStore发起shutdown请求,客户端ip为192.168.1.18。 在遇到诸如下述类问题时,需要查看审计日志: 如客户端发起请求,但是未得到响应。由于不确定任务是卡在客户端还是服务端,可以通过审计日志查看。如果审计日志根本没有相关
log”日志,发现HiveServer一直加载“/opt/Bigdata/*/*_HiveServer/etc/hive-site.xml”;查看HiveServer退出时的“/var/log/Bigdata/hive/hiveserver/hiveserver.out”日志,发现解析“mapred-default
每个任务分片在执行中都需要同一份数据集合时,就可以把公共数据集Broadcast到每个节点,让每个节点在本地都保存一份。 大表和小表做join操作时可以把小表Broadcast到各个节点,从而就可以把join操作转变成普通的操作,减少了shuffle操作。 操作步骤 在开发应用程序时,添
据盘存放个人私有化数据,避免慢盘隔离时对业务造成影响; 自动触发慢盘隔离动作后,对于原来写两副本数据存在单副本运行的场景,存在一定风险,请知;同时华为侧运维人员会尽快对慢盘进行替换; 慢盘自动隔离能力支持单节点同时出现多个慢盘【默认配置为4】时自动隔离节点,此时该节点会变成隔离状
每个任务分片在执行中都需要同一份数据集合时,就可以把公共数据集Broadcast到每个节点,让每个节点在本地都保存一份。 大表和小表做join操作时可以把小表Broadcast到各个节点,从而就可以把join操作转变成普通的操作,减少了shuffle操作。 操作步骤 在开发应用程序时,添
API:提供基于窗口的API。 资源调度器:新增基于资源的调度器插件,可以在拓扑定义时指定可使用的最大资源,并且通过配置的方式指定用户的资源配额,从而管理该用户名下的拓扑资源。 State Management:提供带检查点机制的Bolt接口,当事件失败时,Storm会自动管理bolt的状态并且执行恢复。 消息采样和调试:在Storm
er的健康状况,以便进行控制管理。 HBase也可以部署多个HMaster,类似HDFS NameNode,当HMaster主节点出现故障时,HMaster备用节点会通过ZooKeeper获取主HMaster存储的整个HBase集群状态信息。即通过ZooKeeper实现避免HBase单点故障问题的问题。
topics 可能原因 当前用户没有消费Kafka数据的权限。 处理步骤 登录FusionInsight Manager,选择“系统 > 权限 > 用户”,单击提交CDL任务用户所在行的“修改”,添加“kafkaadmin”用户组,单击“确定”。 使用该用户登录FusionInsight
每个任务分片在执行中都需要同一份数据集合时,就可以把公共数据集Broadcast到每个节点,让每个节点在本地都保存一份。 大表和小表做join操作时可以把小表Broadcast到各个节点,从而就可以把join操作转变成普通的操作,减少了shuffle操作。 操作步骤 在开发应用程序时,添
周期的YARN服务而言,用户可能并不希望由于AM的故障而导致整个服务停止运行。 YARN支持在新的ApplicationAttempt启动时,保留之前Container的状态,因此运行中的作业可以继续无故障的运行。 图1 AM作业保留 配置描述 参考修改集群服务配置参数进入Yar
处于亚健康状态,联系运维人员处理。 确认处理完成后,可在FusionInsight Manager页面,手动清除该告警,查看系统在定时检查时是否会再次产生此告警。 是,执行6。 否,处理完毕。 收集故障信息 在FusionInsight Manager界面,选择“运维 > 日志 >
如何获取Topic的分布信息 用户问题 如何获取Topic在Broker实例的分布信息? 前置操作 前提条件 已安装Kafka、ZooKeeper客户端。 操作步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。
初始化HBase配置 功能介绍 HBase通过login方法来获取配置项。包括用户登录信息、安全认证信息等配置项。 代码样例 下面代码片段在com.huawei.bigdata.hbase.examples包的“TestMain”类的init方法中。 private static