检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Hive SQL防御规则 配置Hive SQL防御操作场景 用户可以在Manager界面配置Hive的SQL防御规则,根据业务调整对应SQL防御规则的参数。 配置Hive SQL防御前提条件 已安装包含Hive服务的集群客户端,例如安装目录为“/opt/hadoopclient”。
string ] [ WITH properties ] AS query 描述 该语法是使用SELECT查询结果创建物化视图。物化视图是一个数据库对象,它包含了一个查询的结果,例如:它可以是远程数据的本地副本,单表查询或者多表join后查询的结果的行或列、行和列的子集,也可以是使用聚合函数的汇总表。
出现这个报错可能的场景有: 开源HDFS客户端访问MRS集群的HDFS时报错。 使用jar包连接MRS集群的HDFS(包括提交任务时连接HDFS)时报错。 解决办法 方法一: 找到命令或者jar包使用的HDFS配置文件hdfs-site.xml。 修改“dfs.client.failover.proxy
MultiPartKeysValueExtractor --support-timestamp 表1 参数说明 命令 描述 必填 默认值 --database Hive database名称 N default --table Hive表名 Y - --base-file-format 文件格式 (PARQUET或HFILE)
java.lang.Thread.run(Thread.java:745) DataNode的磁盘空间不足。 DataNode的心跳有延迟。 解决办法 如果DataNode的数据接收器不可用,通过在Manager页面,增加HDFS参数“dfs.datanode.max.transfer
max-directory-items参数,定义单个目录下不含递归的最大目录数或者文件数,默认值1048576,取值范围1~6400000。 解决办法 确认该目录不含递归拥有100万以上文件目录是否正常,如果正常,可以将HDFS的参数dfs.namenode.fs-limits.max
168.1.20或者192.168.1.*。 Policy Label 为当前策略指定一个标签,您可以根据这些标签搜索报告和筛选策略。 database 将适用该策略的列Hive数据库名称。 “Include”策略适用于当前输入的对象,“Exclude”表示策略适用于除去当前输入内容之外的其他对象。
select_statement; 参数描述 表1 CREATE TABLE参数描述 参数 描述 db_name Database名称,由字母、数字和下划线(_)组成。 table_name Database中的表名,由字母、数字和下划线(_)组成。 STORED AS 使用CarbonData数据格式存储数据。
是(一级) - 表 是(二级) - 视图 是(二级) 与表一致 表2 资源权限列表 资源对象 可选权限 备注 数据库(DATABASE) CREATE CREATE DATABASE/TABLE/VIEW/DICTIONARY权限 表/视图(TABLE/VIEW) SELECT/INSERT
进入到其他ClickHouse节点也发现了同样的报错日志,由此可知Kafka消息堆积是因为ClickHouse解析Kafka数据时出现异常。 解决办法 使用以下命令修改表的“kafka_skip_broken_messages”属性: # ALTER test.user_log MODIFY
Combine output records=6 Reduce input groups=3 Reduce shuffle bytes=114 Reduce input records=6 Reduce output records=2 Spilled Records=12 Shuffled Maps
ALM-45443 集群存在慢SQL查询 告警解释 系统每隔1分钟检测ClickHouse的慢SQL,当检测到有SQL的执行时间大于等于慢SQL阈值时,系统产生此告警。 当系统检测到SQL执行时间小于慢SQL阈值时,告警自动清除。 告警属性 告警ID 告警级别 是否可自动清除 45443
Combine output records=6 Reduce input groups=3 Reduce shuffle bytes=114 Reduce input records=6 Reduce output records=2 Spilled Records=12 Shuffled Maps
"table" : { "identifier" : "`default_catalog`.`default_database`.`datagen`", "resolvedTable" : { "schema" : {
配置文件“flink-conf.yaml”中配置项格式错误。 security.kerberos.login.principal:pippo 解决办法 修改“flink-conf.yaml”中配置,配置项名称和值之间存在一个空格。 security.kerberos.login.principal:
= input.getString(0); String[] words = sentence.split(" "); for (String word : words) { word = word.trim();
ZookeeperBasedLockProvider hoodie.write.lock.hivemetastore.database Hive的database 无 hoodie.write.lock.hivemetastore.table Hive的table name 无 hoodie
check) “Ownership” ALTER DATABASE “管理” CREATE DATABASE - SHOW DATABASES - EXPLAIN “查询” DROP DATABASE “Ownership” DESC DATABASE - CACHE TABLE “查询” UNCACHE
ClickHouse集群规划 ClickHouse数据库设计 ClickHouse宽表设计 ClickHouse物化视图设计 ClickHouse逻辑视图设计 ClickHouse数据库开发 ClickHouse数据库调优 ClickHouse数据库运维
到数据,导入数据条数会为0。 当字段的值与实际的类型不匹配时,该行数据会成为脏数据。 样例 以SPARK导出到sqlserver2014数据库为例。 在sqlserver2014上创建一张空表“test_1”用于存储SparkSQL数据。执行以下语句: create table test_1