检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Table Information Database: default
session.timeout.ms之间。 以上参数可以根据实际情况进行适当的调整,特别是max.poll.records,这个参数是为了控制每次poll数据的records量,保证每次的处理时长尽量保持稳定。目的是为了保证poll数据以后的处理时间不要超过session.timeout
k:list”。 创建集群时开启告警功能,需增加权限“mrs:alarm:subscribe”。 创建集群时使用外置数据源,需增加权限“rds:instance:list”。 { "Version": "1.1", "Statement": [ {
Connection(host='hiveserverIp', port=hiveserverPort, username='hive', database='default', auth='KERBEROS', kerberos_service_name="hive", krbhost='hadoop
解决Spark2x创建UDF的jar包放到OBS路径上会查询UDF报错 解决Alluxio jar包冲突问题 解决Executor日志滚动不释放问题 解决Hive元数据库查询网络阻塞问题 解决MRS对接DCS做缓存,缓存键一天多次被清空问题 解决CBG访问OBS概率性无权限问题 解决长时间使用客户端出现死锁问题
equals("female"); } }).keyBy( new UserRecordSelector() ).window( TumblingEventTimeWindows.of(Time
STATS、SYSTEM.SEQUENCE、SYSTEM. FUNCTION) 删除系统表将导致无法正常进行业务操作。 严禁手动修改Hive元数据库的数据(hivemeta数据库) 修改Hive元数据可能会导致Hive数据解析错误,Hive无法正常提供服务。 禁止对Hive的元数据表手动进行insert和update操作
let的request/response信息 jetty.out Oozie进程启动日志 oozie_db_temp.log Oozie数据库连接日志 oozie-instrumentation.log Oozie仪表盘日志,主要记录Oozie运行状态,各组件的配置信息 oozie-jpa
let的request/response信息 jetty.out Oozie进程启动日志 oozie_db_temp.log Oozie数据库连接日志 oozie-instrumentation.log Oozie仪表盘日志,主要记录Oozie运行状态,各组件的配置信息 oozie-jpa
String[] words = line.toLowerCase(Locale.getDefault()).split(REGEX_STRING); for (String word : words) {
否,执行9。 若有inserts_in_queue中有大量待插入内容,则执行如下SQL查询副本同步队列,查看错误原因。 SELECT database,table,type,any(last_exception),any(postpone_reason),min(create_time)
Connection(host='hiveserverIp', port=hiveserverPort, username='hive', database='default', auth=None, kerberos_service_name=None, krbhost=None) 需按照实际环境修改以下参数:
{ String[] words = s.split("\\s"); if (words.length < 2) { return
创建内部表时指定location,则创建失败。 开启本功能之后,创建Hive内部表不能执行location。因为对建表语句做了限制,如果数据库中已存在建表时指向非当前默认warehouse目录的表,在执行建库、表脚本迁移、重建元数据操作时需要特别注意,防止错误。 操作步骤 进入Hive服务配置页面:
Connection(host='hiveserverIp', port=hiveserverPort, username='hive', database='default', auth='KERBEROS', kerberos_service_name="hive", krbhost='hadoop
prequery.period.max.minute 预热的最大时长,单位分钟 60 spark.prequery.tables 表名配置database.table:int,表名支持通配符*,int代表预热多长时间内有更新的表,单位为天。 default.test*:10 spark
- - - - - - - √ √ UPDATE CARBON TABLE √ √ - - - - √ - - - DELETE RECORDS from CARBON TABLE √ √ - - - - √ - - - DELETE SEGMENT by ID - - - √ √
ldap userDNPattern 例如:cn=%s,ou=People,dc=huawei,dc=com - - --ldap_passwords_in_clear_ok 如果设置为true,将允许ldap密码在网络上明文发送(不含TLS/SSL)。 false true或false
Bigdata/hive/webhcat/webhcat.log”报错“Service not found in Kerberos database”和“Address already in use”。 处理步骤 依次登录WebHCat实例所在节点检查“/etc/hosts”文件
扫描功能 命令形式: sh mergetool.sh scan <db.table> <filesize> db.table的形式是“数据库名.表名”,filesize为用户自定义的小文件阈值(单位MB),返回结果为小于该阈值的文件个数,及整个表目录数据文件的平均大小。 例如:sh