检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在集群外节点运行PrestoJDBCExample缺少证书 问题 presto-examples-1.0-SNAPSHOT-jar-with-dependencies.jar在集群内节点运行时正常,但在集群外节点运行PrestoJDBCExample连接开启Kerberos认证的集群缺少证书,报错如下:
配置Hive动态脱敏 使用场景 Hive动态脱敏功能开启后,配置脱敏列的数据可以参与计算,计算结果输出时不可见,在集群内脱敏策略会根据血缘关系自动传递,更大的发挥数据的价值同时保障数据的隐私性。 使用约束 不支持Hudi表的脱敏。 不支持涉及直接读写HDFS的操作的脱敏。 不支持
的列的个数和类型都可以不同。此外,每个CF都有独立的生存周期(TTL)。可以只对行上锁,对行的操作始终是原始的。 Column 与传统的数据库类似,HBase的表中也有列的概念,列用于表示相同类型的数据。 RegionServer数据存储 RegionServer主要负责管理由H
创建FlinkServer流表源 操作场景 通过数据表,定义源表、维表、输出表的基本属性和字段信息。 新建流表 访问Flink WebUI,请参考访问FlinkServer WebUI界面。 单击“流表管理”进入流表管理页面。 单击“新建流表”,在新建流表页面参考表1填写信息,单
调测HBase Phoenix样例程序 HBase支持通过Phoenix调用JDBC接口来访问HBase服务。调测HBase Phoenix样例程序,默认集群已完成HBase对接Phoenix服务,具体对接步骤详情请参考HBase配置Phoenix。 在Windows中运行并调测程序
创建FlinkServer作业写入数据至Kafka消息队列 本章节适用于MRS 3.1.2及之后的版本。 操作场景 本章节介绍Kafka作为source表或者sink表的DDL定义,以及创建表时使用的WITH参数和代码示例,并指导如何在FlinkServer作业管理页面操作。 本示例以安全模式Kafka为例。
Spark2x多主实例 背景介绍 基于社区已有的JDBCServer基础上,采用多主实例模式实现了其高可用性方案。集群中支持同时共存多个JDBCServer服务,通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个JDBCServer服务停止工作,也不影响用
Spark Structured Streaming状态操作样例程序(Scala) 功能介绍 在Spark结构流应用中,跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp;同时输出本批次被更新状态的session。 代码样例
Spark Structured Streaming状态操作样例程序(Scala) 功能介绍 在Spark结构流应用中,跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp;同时输出本批次被更新状态的session。 代码样例
Impala启用并配置动态资源池 本文介绍如何使用动态资源池控制impala并发。 问题背景 客户需要使用动态资源池控制impala并发。 登录到集群的master1节点上,然后切换到omm用户下,在/home/omm目录下创建fair-scheduler.xml、llama-site
ALM-16051 连接到MetaStore的session数占最大允许数的百分比超过阈值 告警解释 系统每30秒周期性检测连接到MetaStore的session数占MetaStore允许的最大session数的百分比,当检测到百分比指标超过阈值范围时产生该告警。 当连接到Me
IoTDB UDF概述 UDF(User Defined Function)即用户自定义函数。IoTDB提供多种内建函数及自定义函数来满足用户的计算需求。 UDF类型 IoTDB支持的UDF函数的类型如表1所示。 表1 UDF函数类型 UDF分类 描述 UDTF(User Defined
ALM-45007 HetuEngine计算实例Worker个数小于阈值 本章节适用于MRS 3.3.1及以后版本。 告警解释 系统每60秒周期性检测HetuEngine计算实例的Worker个数,当检测到HetuEngine计算实例的Worker个数小于初始设置值的80%时产生该告警。
ALM-13005 ZooKeeper中组件顶层目录的配额设置失败 告警解释 系统每5小时周期性为组件和“customized.quota”配置项中的每个ZooKeeper顶层目录设置配额,当设置某个目录的配额失败时,会产生该告警。 当设置失败的目录重新设置配额成功时,告警恢复。
resource.memory-mb”设置380G,那么该参数设置为128。 8 物理CPU使用百分比 建议预留适量的CPU给操作系统和其他进程(数据库、HBase等)外,剩余的CPU核都分配给YARN。可以通过如下配置参数进行调整。 参数 描述 默认值 yarn.nodemanager.resource
FileTime)、删除目录(deleteCatalogTime)所用的时间。 表分区个数 Hive所有表分区个数监控,返回值的格式为:数据库#表名,表分区个数。 HQL的Map数 Hive周期内执行的HQL与执行过程中调用的Map数统计,展示的信息包括:用户、HQL语句、Map数目。
bolt.mapper.FieldNameBasedTupleToKafkaMapper" constructorArgs: - "words" #构造函数中第一个入参 - "count" #构造函数中第二个入参 config: topology.workers:
MRS 1.9.0.6补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.9.0.6 发布时间 2020-05-20 解决的问题 MRS 1.9.0.6 修复问题列表: MRS Manager MRS Manager支持包周期集群指定节点缩容 MRS大数据组件 解决Hivese提交sql卡顿问题
ALM-16047 HiveServer已从Zookeeper注销 告警解释 系统每60秒周期性检测Hive服务,若Hive在Zookeeper上的注册信息丢失,或者Hive无法连接上Zookeeper,将会发出告警。 告警属性 告警ID 告警级别 是否自动清除 16047 重要
Doris建表规范 该章节主要介绍创建Doris表时需遵循的规则和建议。 Doris建表规则 在创建Doris表指定分桶buckets时,每个桶的数据大小应保持在100MB~3GB之间,单分区中最大分桶数量不超过5000。 表数据超过5亿条以上必须设置分区分桶策略。 表的分桶列不