检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数。 取值范围为[0~2147483646]。 YARNContainerPending 整型 YARN组件挂起的container个数。 取值范围为[0~2147483646]。 YARNContainerPendingRatio 比率 YARN组件挂起的container比率
connections等参数均未能解决。 怀疑是GaussDB的问题,因为增加字段会遍历每个分区执行getPartitionColumnStatistics和alterPartition。 使用omm用户执行gsql -p 20051 -U omm -W password -d hivemeta登录Hive
在Linux系统HDFS客户端使用命令hadoop fs -put data /data,上传数据文件。 在样例代码中配置相关参数。 认证用户配置。 userPrincipal配置为所使用的用户。 userKeytabPath配置为下载的keytab文件的路径。 Krb5ConfPath配置为下载的krb5
管理FlinkServer作业 配置FlinkServer重启策略 配置FlinkServer作业中使用UDF 父主题: 使用Flink
DBServer启动失败 问题背景与现象 DBService组件启动失败,重启还是失败,实例状态一直为正在恢复状态。 图1 DBService 的状态 原因分析 查看DBService的日志/var/log/Bigdata/dbservice/DB/gs_ctl-current.log,报如下错误。
创建FlinkServer作业 创建FlinkServer作业写入数据至ClickHouse表 创建FlinkServer作业写入数据至Doris表 创建FlinkServer作业对接DWS表 创建FlinkServer作业对接JDBC 创建FlinkServer作业写入数据至HBase表
Storm UI查看信息时显示Internal Server Error 问题背景与现象 使用MRS版本安装集群,主要安装ZooKeeper、Strom。 通过MRS Manager中的Storm Status页面UI连接访问信息时显示如下信息: Internal Server Error
`lo_partkey` bigint, `lo_suppkey` bigint, `lo_orderdate` date, `lo_orderpriority` varchar(300), `lo_shippriority` int, `lo_quantity` int, `lo_extendedprice`
ALM-12017 磁盘容量不足 告警解释 系统每30秒周期性检测磁盘使用率,并把磁盘使用率和阈值相比较。磁盘使用率有一个默认阈值,当检测到磁盘使用率超过阈值时产生该告警。 平滑次数为1,主机磁盘某一分区使用率小于或等于阈值时,告警恢复;平滑次数大于1,主机磁盘某一分区使用率小于或等于阈值的90%时,告警恢复。
值之上。 200 hive.server2.enable.doAs HiveServer2在与其他服务(如YARN、HDFS等)会话时是否模拟客户端用户。如果将此配置项从false改成true,会导致只有列权限的用户访问相应表权限缺失。 说明: 本参数适用于MRS 3.x及后续版本。
表历史值2, 因此col1,col2 更新; group_2的值为3 > 历史值1,因此col3,col4更新 使用场景样例 union写入模拟多表join(flink可以使用该功能完成流流join,实现数据拉宽)。 下列代码以SparkSQL示例, 通过Hudi将t1和t2 join拉宽操作转成union
listNodeGroupsComponentsInstallMode, ComponentUserPassword: &componentUserPasswordComponentsInstallMode, ComponentDefaultPassword:
A分钟内多次展示,每次展示事件为有效展示。 广告有效点击的定义如下: 展示到点击时长超过B分钟算无效点击。 B分钟内多次点击,仅首次点击事件为有效点击。 基于此业务场景,模拟简单的数据结构如下: 广告请求事件 数据结构:adID^reqTime 广告展示事件 数据结构:adID^showID^showTime 广告点击事件
A分钟内多次展示,每次展示事件为有效展示。 广告有效点击的定义如下: 展示到点击时长超过B分钟算无效点击。 B分钟内多次点击,仅首次点击事件为有效点击。 基于此业务场景,模拟简单的数据结构如下: 广告请求事件 数据结构:adID^reqTime 广告展示事件 数据结构:adID^showID^showTime 广告点击事件
创建FlinkServer集群连接 操作场景 通过集群连接配置访问不同的集群。 创建集群连接 访问Flink WebUI,请参考访问FlinkServer WebUI界面。 选择“系统管理 > 集群连接管理”,进入集群连接管理页面。 单击“创建集群连接”,在弹出的页面中参考表1填
创建FlinkServer集群连接 通过集群连接配置访问不同的集群。 创建FlinkServer集群连接步骤 访问Flink WebUI,请参考访问FlinkServer WebUI界面。 选择“系统管理 > 集群连接管理”,进入集群连接管理页面。 单击“创建集群连接”,在弹出的
KafkaManager KafkaManager是Apache Kafka的管理工具,提供Kafka集群界面化的Metric监控和集群管理。 通过KafkaManager进行以下操作: 支持管理多个Kafka集群 支持界面检查集群状态(主题,消费者,偏移量,分区,副本,节点) 支持界面执行副本的leader选举
DBService DBService简介 DBService是一个高可用性的关系型数据库存储系统,适用于存储小量数据(10GB左右),比如:组件元数据。DBService仅提供给集群内部的组件使用,提供数据存储、查询、删除等功能。 DBService是集群的基础组件,Hive、
Manager Manager基本原理 Manager关键特性 父主题: 组件介绍
ZooKeeper ZooKeeper基本原理 ZooKeeper与其他组件的关系 ZooKeeper开源增强特性 父主题: 组件介绍