检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基于全局二级索引查询HBase表数据 功能简介 添加了全局二级索引的用户表,在使用索引条件进行查询时,可以转换为对索引表的范围查询,性能高于针对无二级索引用户表的数据查询。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“Globa
为什么对decimal数据类型进行带过滤条件的查询时会出现异常输出? 问题 当对decimal数据类型进行带过滤条件的查询时,输出结果不正确。 例如, select * from carbon_table where num = 1234567890123456.22; 输出结果:
访问Spark应用的聚合日志页面报“DNS查找失败”错误 问题 采用http(s)://<spark ip>:<spark port>的方式直接访问Spark JobHistory页面时,如果当前跳转的Spark JobHistory页面不是FusionInsight代理的页面(
连上不同的JDBCServer,function不能正常使用 问题 场景一: 通过add jar的方式建立永久函数,当Beeline连上不同的JDBCServer或者JDBCServer重启后都需要重新add jar。 图1 场景一异常信息 场景二: show functions
使用IBM JDK产生异常,提示“Problem performing GSS wrap”信息 问题 使用IBM JDK产生异常,提示“Problem performing GSS wrap”信息 回答 问题原因: 在IBM JDK下建立的JDBC connection时间超过登
使用IBM JDK产生异常,提示“Problem performing GSS wrap”信息 问题 使用IBM JDK产生异常,提示“Problem performing GSS wrap”信息 回答 问题原因: 在IBM JDK下建立的JDBC connection时间超过登
使用Spark执行Hudi样例程序(Python) 使用python写Hudi表 下面代码片段仅为演示,具体代码参见:sparknormal-examples.SparkOnHudiPythonExample.hudi_python_write_example。 插入数据: #insert
使用代理用户访问FlinkServer REST API样例程序(Java) 功能介绍 通过代理用户调用FlinkServer RestAPI。以FlinkServer管理员权限的用户访问API来获取普通用户权限。 本章节适用于MRS 3.3.0及以后版本。 代码样例 以租户用户
使用二次开发程序产生Unable to read HiveServer2异常如何处理 问题 使用二次开发程序产生异常,提示“Unable to read HiveServer2 configs from ZooKeeper”信息。 回答 问题原因 使用的krb5.conf、user
Spark Structured Streaming对接Kafka样例程序(Scala) 功能介绍 使用Structured Streaming,从Kafka中读取广告请求数据、广告展示数据、广告点击数据,实时获取广告有效展示统计数据和广告有效点击统计数据,将统计结果写入kafka中。
为什么含转义字符的输入数据记录到Bad Records中的值与原始数据不同? 问题 为什么含转义字符的输入数据记录到Bad Records中的值与原始数据不同? 回答 转义字符以反斜线"\"开头,后跟一个或几个字符。如果输入记录包含类似\t,\b,\n,\r,\f,\',\",\
Spark SQL ROLLUP和CUBE使用的注意事项 问题 假设有表src(d1, d2, m),其数据如下: 1 a 1 1 b 1 2 b 2 对于语句select d1, sum(d1) from src group by d1, d2 with rollup其结果如下:
Spark SQL在不同DB都可以显示临时表 问题 切换数据库之后,为什么还能看到之前数据库的临时表? 创建一个DataSource的临时表,例如以下建表语句。 create temporary table ds_parquet using org.apache.spark.sql
使用Spark执行Hudi样例程序(Scala) 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.hudi.examples.HoodieDataSourceExample。 插入数据: def insertData(spark: SparkSession
使用Spark执行Hudi样例程序(Java) 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.hudi.examples.HoodieWriteClientExample 创建客户端对象来操作Hudi: String tablePath = args[0];
Spark同时访问两个HBase样例程序(Scala) 以下为Spark同时访问两个HBase样例程序的Scala示例。 下面代码片段仅为演示。 具体代码参见:com.huawei.spark.examples.SparkOnMultiHbase def main(args: Array[String]):
向动态分区表中插入数据时,在重试的task中出现"Failed to CREATE_FILE"异常 问题 向动态分区表中插入数据时,shuffle过程中大面积shuffle文件损坏(磁盘掉线、节点故障等)后,为什么会在重试的task中出现"Failed to CREATE_FILE"异常?
使用IBM JDK产生异常“Problem performing GSS wrap”如何处理 问题 使用IBM JDK产生异常,提示“Problem performing GSS wrap”信息。 回答 问题原因: 在IBM JDK下建立的Hive connection时间超过登
Spark从Hive读取数据再写入HBase样例程序(Java) 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata
Spark从Hive读取数据再写入HBase样例程序(Python) 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。 代码样例 由于pyspark不提供Hbase相关api,本样例使用Python调用Java的方式实现。