检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
TION_TOKEN到期的异常 问题 安全模式下,为什么作业执行失败时会发生HDFS_DELEGATION_TOKEN到期的异常? 回答 HDFS_DELEGATION_TOKEN到期的异常是由于token没有更新或者超出了最大生命周期。 在token的最大生命周期内确保下面的参数值大于作业的运行时间。
TION_TOKEN到期的异常 问题 安全模式下,为什么作业执行失败时会发生HDFS_DELEGATION_TOKEN到期的异常? 回答 HDFS_DELEGATION_TOKEN到期的异常是由于token没有更新或者超出了最大生命周期。 在token的最大生命周期内确保下面的参数值大于作业的运行时间。
配置HBase权限策略时无法使用通配符搜索已存在的HBase表 问题 添加HBase的Ranger访问权限策略时,在策略中使用通配符搜索已存在的HBase表时,搜索不到已存在的表,并且在/var/log/Bigdata/ranger/rangeradmin/ranger-admin-*log中报以下错误
MapReduce引擎无法查询Tez引擎执行union语句写入的数据 问题 Hive通过Tez引擎执行union相关语句写入的数据,切换到Mapreduce引擎后进行查询,发现数据没有查询出来。 回答 由于Hive使用Tez引擎在执行union语句时,生成的输出文件会存在HIVE_UNION_SUBDIR目录。
java:745) 如果发生此异常,请为租户配置足够的磁盘空间配额。 例如: 需要的磁盘空间配置可以按照如下方法计算: 如果HDFS的副本数为3, HDFS默认的块大小为128MB,则最小需要384MB的磁盘空间用于写表的schema文件到HDFS上。计算公式:no. of block
多级嵌套子查询以及混合Join的SQL调优 操作场景 本章节介绍在多级嵌套以及混合Join SQL查询的调优建议。 前提条件 例如有一个复杂的查询样例如下: select s_name, count(1) as numwait from ( select s_name from (
功能简介 通过连接zookeeper上的对应znode获取到当前主JDBCServer的IP和PORT,然后使用pyhive连接到这个JDBCServer,从而实现在JDBCServer-ha模式下,出现主备倒换后不需要修改代码依旧就能直接访问新的主JDBCServer服务。 该功能
MapReduce引擎无法查询Tez引擎执行union语句写入的数据 问题 Hive通过Tez引擎执行union相关语句写入的数据,切换到Mapreduce引擎后进行查询,发现数据没有查询出来。 回答 由于Hive使用Tez引擎在执行union语句时,生成的输出文件会存在HIVE_UNION_SUB
在本集群创建一个视图所有者的同名用户,然后修改HetuEngine的Ranger访问权限策略中的all-function策略: 在“Allow Condition”的“Select User”中填写授权的视图所有者。 在“Permissions”勾选“Grant”和“execute”。
群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。然后选择“集群 > 待操作的集群名称
密码输入错误次数保留的时间间隔,取值范围为0~1440。“0”表示永远有效,“1440”表示1天。 单击“确定”保存配置。 系统新建用户默认使用default密码策略,新的密码策略创建成功后,用户在新创建用户时,可以手动选择该用户对应的密码策略。对于已经创建好的用户,也可以修改已有用户的密码策略,请参考修改MRS集群用户信息。
基于Guardian服务的OBS权限配置说明 基于Guardian服务的存算分离场景下,对于开启了Ranger鉴权的MRS集群,Ranger管理员可以通过Ranger为集群用户配置OBS目录或文件的读、写权限。 同时,基于Guardian权限模型存算分离,依赖Hive级联授权功能,实现用户基于Ran
重要(默认级别) 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 对系统的影响 ClickHouse在ZooKeeper的数量配额超过阈值后,无法通过FusionInsight Man
重要(默认级别) 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 对系统的影响 ClickHouse在ZooKeeper的容量配额超过阈值后,无法通过FusionInsight Manag
使用hive-table方式同步数据到obs上的hive表报错 问题 使用hive-table方式同步数据到obs上的hive表报错。 回答 修改数据同步方式,将-hive-table改成-hcatalog-table。 父主题: Sqoop常见问题
如何在CarbonData数据加载时修改默认的组名? 问题 如何在CarbonData数据加载时修改默认的组名? 回答 CarbonData数据加载时,默认的组名为“ficommon”。可以根据需要修改默认的组名。 编辑“carbon.properties”文件。 根据需要修改关键字“carbon
在Ranger管理界面查看不到创建的MRS用户 问题 在MRS Manager界面创建了一个账户,登录到Ranger管理界面后查看不到该用户。 回答 登录到Ranger管理界面的用户权限不够,需要切换至rangeradmin用户或者其他具有Ranger管理员权限的用户。 在Ranger W
配置HBase只读模式集群允许修改数据的IP白名单 MRS 3.x及之后版本,当HBase集群开启Replication功能时,为了保护主备集群的HBase数据一致性,对备集群HBase增加了数据修改操作的保护。当备集群HBase接收到数据修改操作的RPC请求时,首先检查发出该请求的用户的权限,只有HB
/etc/hosts,获取hosts文件中的IP与hostname映射关系。 在本地Windows的“C:\Windows\System32\drivers\etc\hosts”中,配置3中获取的映射关系,并将所有Master节点的IP修改为对应节点绑定的弹性公网IP。 将MRS集群中的“/opt/cli
n下一个RDD的算子。如果直接翻译到物理实现,是很不经济的:一是每一个RDD(即使是中间结果)都需要物化到内存或存储中,费时费空间;二是join作为全局的barrier,是很昂贵的,会被最慢的那个节点拖死。如果子RDD的分区到父RDD的分区是窄依赖,就可以实施经典的fusion优