检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouse应用开发常用概念 基本概念 cluster cluster(集群)在ClickHouse里是一种逻辑的概念,它可以由用户根据需要自由的定义,与通常理解的集群有一定的差异。多个ClickHouse节点之间是一种松耦合的关系,各自独立存在。 shards shar
ClickHouse应用开发常用概念 基本概念 cluster cluster(集群)在ClickHouse里是一种逻辑的概念,它可以由用户根据需要自由的定义,与通常理解的集群有一定的差异。多个ClickHouse节点之间是一种松耦合的关系,各自独立存在。 shards shar
SparkSQL建表时的目录权限 问题 新建的用户,使用SparkSQL建表时出现类似如下错误: 0: jdbc:hive2://192.168.169.84:22550/default> create table testACL(c string); Error: org.apache
spark-sql退出时打印RejectedExecutionException异常栈 问题 执行大数据量的Spark任务(如2T的TPCDS测试套),任务运行成功后,在spark-sql退出时概率性出现RejectedExecutionException的异常栈信息,相关日志如下所示:
使用deleteall命令删除大量znode时偶现报错“Node does not exist” 问题 客户端连接非Leader实例,使用deleteall命令删除大量znode时,报错Node does not exist,但是stat命令能够获取到node状态。 回答 由于网
Hive是否支持对同一张表或分区进行并发写数据 问题 为什么通过接口并发对Hive表进行写数据会导致数据不一致? 回答 Hive不支持对同一张表或同一个分区进行并发数据插入,这样会导致多个任务操作同一个数据临时目录,一个任务将另一个任务的数据移走,导致任务数据异常。解决方法是修改
使用BulkLoad工具批量导入HBase数据 操作场景 您可以按照自定义的方式,通过命令批量导入数据到HBase中并创建索引。 您可以在“configuration.xml”文件中定义多个方式来批量导入数据。导入数据时可不创建索引。 列的名称不能包含特殊字符,只能由字母、数字和下划线组成。
使用BulkLoad工具批量更新HBase数据 操作场景 HBase BulkLoad工具支持根据RowKey的命名规则、RowKey的范围、字段名以及字段值进行批量更新数据。 使用BulkLoad工具批量更新HBase数据 执行如下命令更新从“row_start”到“row_s
在Hue WebUI使用HiveQL编辑器 操作场景 用户需要使用图形化界面在集群中执行HiveQL语句时,可以通过Hue完成任务。 访问编辑器 访问Hue WebUI,请参考访问Hue WebUI界面。 在左侧导航栏单击,然后选择“Hive”,进入“Hive”。 “Hive”支持以下功能:
使用BulkLoad工具批量删除HBase数据 操作场景 BulkLoad工具支持根据rowkey的取值模式、范围、字段名、字段值对HBase数据做批量删除。 使用BulkLoad工具批量删除HBase数据 执行如下命令删除从“row_start”到“row_stop”的行,并且
ResourceManager重启后,应用程序会移回原来的队列 问题 将应用程序从一个队列移到另一个队列时,为什么在RM(ResourceManager)重启后,应用程序会被移回原来的队列? 回答 这是RM的使用限制,应用程序运行过程中移动到别的队列,此时RM重启,RM并不会在状态存储中存储新队列的信息。
为什么新创建用户修改完密码后无法登录Ranger 问题 使用新建用户登录Ranger页面,为什么在修改完密码后登录报401错误? 回答 由于UserSync同步用户数据有时间周期,默认是5分钟,因此在Manager上新创建的用户在用户同步成功前无法登录Ranger,因为Range
Hive是否支持对同一张表或分区进行并发写数据 问题 为什么通过接口并发对Hive表进行写数据会导致数据不一致? 该章节仅适用于MRS 3.1.2版本。 回答 Hive不支持对同一张表或同一个分区进行并发数据插入,这样会导致多个任务操作同一个数据临时目录,一个任务将另一个任务的数
开启Native Task特性后,Reduce任务在部分操作系统运行失败 问题 开启Native Task特性后,Reduce任务在部分操作系统运行失败。 回答 运行包含Reduce的Mapreduce任务时,通过-Dmapreduce.job.map.output.collector
使用Spark SQL删除MOR表后重新建表写入数据无法同步ro、rt表 问题 使用Spark SQL删除MOR表后重新建表写入数据不能实时同步ro、rt表,报错如下: WARN HiveSyncTool: Got runtime exception when hive syncing
Flink DataStream样例程序(Java) 功能介绍 统计连续网购时间超过2个小时的女性网民信息,将统计结果直接打印。 DataStream FlinkStreamJavaExample代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.flink
Flink HBase样例程序(Java) 功能介绍 通过调用Flink API读写HBase数据。 代码样例 下面列出WriteHBase和ReadHBase主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink.examples.WriteHBase和com
Flink Hudi样例程序(Java) 功能介绍 通过调用Flink API读写Hudi数据。 代码样例 下面列出WriteIntoHudi和ReadFromHudi主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink.examples.WriteIntoHudi和com
HBase Java API接口介绍 接口使用建议 建议使用org.apache.hadoop.hbase.Cell作为KV数据对象,而不是org.apache.hadoop.hbase.KeyValue。 建议使用Connection connection = ConnectionFactory
Hive JDBC样例程序开发思路 场景说明 假定用户开发一个Hive数据分析应用,用于管理企业雇员信息,如表1、表2所示。 开发思路 数据准备。 创建三张表,雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“emp