检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
物化视图创建参考如下: 明细表创建 CREATE TABLE counter ON CLUSTER default_cluster ( when DateTime DEFAULT now(), device UInt32, value Float32 ) ENGINE=MergeTree
org.apache.hive.jdbc.HiveDriver jdbc.url 连接Hive的URL,格式为ZooKeeper Mode: jdbc:hive2://<host>:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace
Owner: admintest LastAccessTime
Ranger原理 组件Ranger插件 Ranger为各组件提供了基于PBAC(Policy-Based Access Control)的权限管理插件,用于替换组件自身原来的鉴权插件。
invoke(Unknown Source) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke
ALM-12039 OMS数据库主备不同步 告警解释 OMS数据库主备不同步,系统每10秒检查一次主备数据同步状态,如果连续30次查不到同步状态,或者同步状态异常,产生告警。 当主备数据同步状态正常,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12039 紧急(MRS
DBServer启动失败 问题背景与现象 DBService组件启动失败,重启还是失败,实例状态一直为正在恢复状态。 图1 DBService 的状态 原因分析 查看DBService的日志/var/log/Bigdata/dbservice/DB/gs_ctl-current.log
管理FlinkServer作业 配置FlinkServer重启策略 配置FlinkServer作业中使用UDF 父主题: 使用Flink
创建FlinkServer作业 创建FlinkServer作业写入数据至ClickHouse表 创建FlinkServer作业写入数据至Doris表 创建FlinkServer作业对接DWS表 创建FlinkServer作业对接JDBC 创建FlinkServer作业写入数据至数据仓库服务
Start job success. 执行以下命令,查看作业状态。 .
单击“Access Manager > Reports”,可查看各组件所有的安全访问策略。 系统策略较多时,可通过策略名称、类型、组件、资源对象、策略标签、安全区域、用户或用户组等信息进行过滤搜索,也可以单击“Export”导出相关策略内容。
Start job success. 执行以下命令,查看作业状态。 .
单击“Access Manager > Reports”,可查看各组件所有的安全访问策略。 系统策略较多时,可通过策略名称、类型、组件、资源对象、策略标签、安全区域、用户或用户组等信息进行过滤搜索,也可以单击“Export”导出相关策略内容。
Storm UI查看信息时显示Internal Server Error 问题背景与现象 使用MRS版本安装集群,主要安装ZooKeeper、Strom。 通过MRS Manager中的Storm Status页面UI连接访问信息时显示如下信息: Internal Server Error
当TaskManager失败后,重新向Yarn申请容器,创建TaskManager。
MRS集群数据备份恢复简介 MRS集群数据备份恢复概述 Manager提供对集群内的用户数据及系统数据的备份恢复能力,备份功能按组件提供。系统支持备份Manager的数据、组件元数据及业务数据。 MRS 3.x及之后版本,备份功能支持将数据备份至本地磁盘(LocalDir)、本端HDFS
构建SparkContext对象,如: new SparkContext(master, appName, [SparkHome], [jars]) 参数介绍: master:连接字符串,连接方式有local、yarn-cluster、yarn-client等。
规划HDFS容量 HDFS DataNode以Block的形式,保存用户的文件和目录,同时在NameNode中生成一个文件对象,对应DataNode中每个文件、目录和Block。 NameNode文件对象需要占用一定的内存,消耗内存大小随文件对象的生成而线性递增。DataNode实际保存的文件和目录越多
HBase容灾集群主备倒换 操作场景 当前环境HBase已经是容灾集群,因为某些原因,需要将主备集群互换,即备集群变成主集群,主集群变成备集群。 本章节适用于MRS 3.x及之后版本。 对系统的影响 主备集群互换后,原先主集群将不能再写入数据,原先备集群将变成主集群,接管上层业务。
该方法每次处理固定行数或者固定时间间隔内的一批数据,称包含这一批数据的容器为窗口。原始数据由“RowWindow”读入,由“PointCollector”输出。“RowWindow”能够帮助访问某一批次的“Row”,它提供了对这一批次的“Row”进行随机访问和迭代访问的接口。