检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
【Hue WebUI】登录Hue WebUI报错无权限 现象描述 开启Kerberos认证的集群,使用admin用户登录Hue WebUI,报错“无权限或无法连接到hive server,请检查当前用户的hive权限以及hue的hive配置是否正确。”或“No available
据表的统计信息,例如数据量、文件数等,选出合适计划提高多表Join的效率。Hive需要先收集表的统计信息后才能使CBO正确的优化。 CBO优化器会基于统计信息和查询条件,尽可能地使Join顺序达到更优。但是也可能存在特殊情况导致Join顺序调整不准确。例如数据存在倾斜,以及查询条
loader-tool工具使用示例 schedule-tool工具使用指导 schedule-tool工具使用示例 使用loader-backup工具备份作业数据 开源sqoop-shell工具使用指导 开源sqoop-shell工具使用示例(SFTP - HDFS) 开源sqoop-shell工具使用示例(Oracle
入参位置一一对应。 Result get(Get get) 通过指定的rowkey读取数据。 Result[] get(List<Get> gets) 通过指定一批rowkey的方式批量读取数据。 ResultScanner getScanner(Scan scan) 获取该表的
前提条件 在各个数据节点准备并安装好新磁盘,并格式化磁盘。 规划好新的目录路径,用于保存旧目录中的数据。 准备好MRS集群管理员用户admin。 操作步骤 MRS 3.x之前的版本集群执行以下操作: 检查环境。 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。选择“组
用现象,说明HBase使用情况已经达到瓶颈,需考虑如下几点: table的Region数初始设置是否合适。 是否存在无用数据。 若存在无用数据,可删除对应数据以减小HBase存储文件数量,若以上情况都不满足,则需考虑扩容。 父主题: HBase故障排除
java:339) 原因分析 drop partition的处理逻辑是将找到所有满足条件的分区,将其拼接起来,最后统一删除。由于分区数过多,拼删元数据堆栈较深,出现StackOverFlow异常。 解决办法 分批次删除分区。 父主题: 使用Hive
table t1 SYNC; 在删除复制表时,因为复制表需要在Zookeeper上建立一个路径,存放相关数据。ClickHouse默认的库引擎是原子数据库引擎,删除Atomic数据库中的表后,它不会立即删除,而是会在480秒后删除。在删除表时,加上SYNC字段,即可解决该问题,例如:drop
参数 描述 db_name 数据库名。如果未指定,则选择当前数据库。 indextable_name 索引表名。 maintable_name 主表名。 注意事项 在执行此命令之前,使用REFRESH TABLE将主表和二级所索引表都注册到Hive元数据中。 示例 create database
xml”配置文件中优化如下参数: “yarn.app.mapreduce.am.resource.mb” “yarn.app.mapreduce.am.command-opts”,该参数中-Xmx值建议为0.8*“yarn.app.mapreduce.am.resource.mb” 参考规格:
位置:分隔后字段的位置。 输出字段名:分隔后的字段名。 map 是 无 数据处理规则 将输入字段的值按指定的分隔符分隔后,依次赋给配置的新字段。 配置分割后字段列数,大于原始数据实际可分割出来的字段列数,当前行成为脏数据。 样例 通过“CSV文件输入”算子,生成一个字段A。 源文件如下:
当在Filter中使用Big Double类型数值时,过滤结果与Hive不一致 executor内存不足导致查询性能下降 父主题: 使用CarbonData(MRS 3.x及之后版本)
ClickHouse性能调优 ClickHouse数据表分区过多调优 ClickHouse加速Merge调优 ClickHouse加速TTL操作调优 父主题: 使用ClickHouse
引。 全局二级索引的创建需要指定索引列、覆盖列(可选)、索引表预分区(可选,建议指定)。 在已有存量数据的表上创建全局二级索引,需要创建索引预分区,防止索引表出现热点,索引表数据的rowkey由索引列构成,并且包含分隔符,格式为“\x01索引值\x00”,因此预分区需要指定成对应
配置Hive单表动态视图的访问控制权限 操作场景 MRS中安全模式下Hive可以创建一个视图并控制用户访问权限,支持授权给不同的用户访问,又可以限定不同用户只能访问的不同数据。 在视图中,Hive可以通过获取当前客户端提交任务的用户的内置函数“current_user()”来进行
配置Hive单表动态视图的访问控制权限 操作场景 MRS安全模式下Hive可以创建一个视图并控制用户访问权限,支持授权给不同的用户访问,又可以限定不同用户只能访问的不同数据。 在视图中,Hive可以通过获取当前客户端提交任务的用户的内置函数“current_user()”来进行过
MapReduce应用开发常见问题 MapReduce接口介绍 提交MapReduce任务时客户端长时间无响应 MapReduce二次开发远程调试 父主题: MapReduce开发指南(普通模式)
开发Impala应用 Impala样例程序开发思路 创建Impala表 加载Impala数据 查询Impala数据 分析Impala数据 开发Impala用户自定义函数 父主题: Impala开发指南
象; 然后通过Kudu的驱动往这个表里写数据; 在计算引擎上直接查询这个表里的数据。 在本开发程序示例中,为了不引入额外的计算引擎,将以Kudu为主,全部通过Java API接口来进行描述: 建立Kudu连接 创建Kudu表 写Kudu数据 修改Kudu表 删除Kudu表 父主题:
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后,客户端长时间无响应。 回答 对于上述出现的问题,ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息,对于一个已经提交到YARN上的MapR