检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark SQL在不同DB都可以显示临时表 问题 切换数据库之后，为什么还能看到之前数据库的临时表？ 创建一个DataSource的临时表，例如以下建表语句。 create temporary table ds_parquet using org.apache.spark.sql
二进制函数和运算符 二进制运算符 || 运算符执行连接。 二进制函数 length(binary) → bigint 返回binary的字节长度。 select length(x'00141f');-- 3 concat(binary1, ..., binaryN) → varbinary
使用REST接口查询HBase集群信息 功能简介 使用REST服务，传入对应host与port组成的url，通过HTTP协议，获取集群版本与状态信息。 代码样例 连接RestServer服务 普通模式下，用户不需要登录即可连接RestServer服务。所以请将“hbase-rest-exampl
对同一目录创建多个外表，可能导致外表查询失败 问题 假设存在数据文件路径“/test_data_path”，用户userA对该目录创建外表tableA，用户userB对该目录创建外表tableB，当userB对tableB执行insert操作后，userA将查询tableA失败，出现Permission
使用HBase BulkLoad导入数据成功，执行相同的查询时却可能返回不同的结果 问题 在使用HBase bulkload导入数据时，如果导入的数据存在相同的rowkey值，数据可以导入成功，但是执行相同的查询时可能返回不同的结果。 回答 正常情况下，相同rowkey值的数据加
使用Hcatalog方式同步Hive和MySQL之间的数据，timestamp和data类型字段会报错 问题 使用Hcatalog方式同步Hive和MySQL之间的数据，timestamp和data类型字段会报错： 回答 调整Sqoop源码包中的代码，将timestamp强制转换类型和Hive保持一致。
JDBC应用开发环境 为了运行Presto组件的JDBC接口样例代码，需要完成下面的操作。此处以在Windows环境下开发JDBC方式连接Presto服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程获取Presto示例工程。 在Presto示例工程根目录，执行mvn install编译。
Spark Core样例程序（Java） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection类：
Spark SQL样例程序（Python） 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见SparkSQLPythonExample： # -*- coding:utf-8 -*- import sys from
在Linux环境中调测ClickHouse应用（MRS 3.3.0之前版本） ClickHouse应用程序支持在Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 Linux环境已安装JDK，版本号需要和IntelliJ
Hive JDBC样例程序开发思路 场景说明 假定用户开发一个Hive数据分析应用，用于管理企业雇员信息，如表1、表2所示。 开发思路 数据准备。 创建三张表，雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“emp
Structured Streaming 任务提交方式变更 问题 用户提交结构流任务时，通常需要通过--jars命令指定kafka相关jar包的路径，例如--jars /kafkadir/kafka-clients-x.x.x.jar,/kafkadir/kafka_2.11-x
在启用Kerberos认证集群环境下，Kafka当前支持Sasl Plaintext认证。 操作步骤 Kafka服务端配置Sasl Plain认证。 登录FusionInsight Manager页面。 选择“集群 > 服务 > Kafka > 配置 > 全部配置”，搜索参数“sasl.enabled.me
如何处理无法直接通过URL访问Flink Web 问题 无法通过“http://JobManager IP:JobManager的端口”访问Web页面。 回答 由于浏览器所在的计算机IP地址未加到Web访问白名单导致。用户可以通过修改客户端的配置文件“conf/flink-conf
常见jar包冲突处理方式 问题现象 Spark能对接很多的第三方工具，因此在使用过程中经常会依赖一堆的三方包。而有一些包MRS已经自带，这样就有可能造成代码使用的jar包版本和集群自带的jar包版本不一致，在使用过程中就有可能出现jar包冲突的情况。 常见的jar包冲突报错有： 1、报错类找不到：java
Oozie REST接口介绍 Oozie常用REST接口与Java一样。 Java API主要由org.apache.oozie.client.OozieClient提供。 详情请参见http://oozie.apache.org/docs/5.1.0/WebServicesAPI
Flink开启Checkpoint样例程序（Java） 功能介绍 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量，并做到状态严格一致性。 代码样例 快照数据 该数据在算子制作快照时用于保存到目前为止算子记录的数据条数。 import java.io.Seriablizale;
Flink Hudi样例程序（Java） 功能介绍 通过调用Flink API读写Hudi数据。 代码样例 下面列出WriteIntoHudi和ReadFromHudi主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink.examples.WriteIntoHudi和com
使用Get API读取HBase表数据 功能简介 要从表中读取一条数据，首先需要实例化该表对应的Table实例，然后创建一个Get对象。也可以为Get对象设定参数值，如列族的名称和列的名称。查询到的行数据存储在Result对象中，Result中可以存储多个Cell。 代码样例 以下代码片段在com
hindex.mapreduce.TableIndexer -Dtablename.to.index=<table_name> -Dindexspecs.to.add='IDX1=>cf1:[q1->datatype];cf2:[q1->datatype],[q2->datatype],[
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
