检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MapReduce统计样例代码 功能介绍 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 主要分为三个部分： 从原文件中筛选女性网民上网时间数据信息，通过类CollectionMapper继承Mapper抽象类实现。 汇总每个女性上网时间，并输出时间大于两个小时的
MapReduce Java API接口介绍 关于MapReduce的详细API可以参考官方网站。 http://hadoop.apache.org/docs/r3.1.1/api/index.html 常用接口 MapReduce中常见的类如下： org.apache.hadoop
使用IBM JDK产生异常“Problem performing GSS wrap”如何处理 问题 使用IBM JDK产生异常，提示“Problem performing GSS wrap”信息。 回答 问题原因： 在IBM JDK下建立的Hive connection时间超过登
开启防误删下，为什么Carbon表没有执行drop table命令，回收站中也会存在该表的文件？ 问题 开启防误删下，为什么Carbon表没有执行drop table命令，回收站中也会存在该表的文件？ 回答 在Carbon适配防误删后，调用文件删除命令，会将删除的文件放入回收站中。
日期类型的字段作为过滤条件时匹配'2016-6-30'时没有查询结果 问题 为什么日期类型的字段作为过滤条件时匹配'2016-6-30'时没有查询结果，匹配'2016-06-30'时有查询结果。 如下图所示：“select count(*)from trxfintrx2012 a
Spark SQL ROLLUP和CUBE使用的注意事项 问题 假设有表src(d1, d2, m)，其数据如下： 1 a 1 1 b 1 2 b 2 对于语句select d1, sum(d1) from src group by d1, d2 with rollup其结果如下：
Spark SQL在不同DB都可以显示临时表 问题 切换数据库之后，为什么还能看到之前数据库的临时表？ 创建一个DataSource的临时表，例如以下建表语句。 create temporary table ds_parquet using org.apache.spark.sql
MapReduce统计样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发MapReduce应用程序实现如下功能： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“
Spark Structured Streaming样例程序（Scala） 功能介绍 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：com
使用Spark执行Hudi样例程序（Java） 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.hudi.examples.HoodieWriteClientExample 创建客户端对象来操作Hudi： String tablePath = args[0];
为什么含转义字符的输入数据记录到Bad Records中的值与原始数据不同？ 问题 为什么含转义字符的输入数据记录到Bad Records中的值与原始数据不同？ 回答 转义字符以反斜线"\"开头，后跟一个或几个字符。如果输入记录包含类似\t，\b，\n，\r，\f，\'，\"，\
通过ThriftServer实例向HBase表中写入数据 功能简介 传入ThriftServer实例所在host和提供服务的port，根据认证凭据及配置文件新建Thrift客户端，访问ThriftServer，分别使用put和putMultiple进行写数据操作。 代码样例 方法调用
第三方jar包跨平台（x86、TaiShan）支持 问题 用户自己写的jar包（例如自定义udf包）区分x86和TaiShan版本，如何让Spark2x支持其正常运行。 回答 第三方jar包（例如自定义udf）区分x86和TaiShan版本时，混合使用方案： 进入到服务端Spark2x
MapReduce统计样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发MapReduce应用程序实现如下功能： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“
Spark同步HBase数据到CarbonData开发思路 场景说明 数据实时写入HBase，用于点查业务，数据每隔一段时间批量同步到CarbonData表中，用于分析型查询业务。 数据规划 运行样例程序前，需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark
使用Spark执行Hudi样例程序（Scala） 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.hudi.examples.HoodieDataSourceExample。 插入数据： def insertData(spark: SparkSession
MapReduce访问多组件样例程序开发思路 场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下： 以HDFS文本文件为输入数据： log1
Spark Structured Streaming对接Kafka样例程序（Scala） 功能介绍 使用Structured Streaming，从kafka中读取广告请求数据、广告展示数据、广告点击数据，实时获取广告有效展示统计数据和广告有效点击统计数据，将统计结果写入kafka中。
Spark同时访问两个HBase样例程序（Scala） 以下为Spark同时访问两个HBase样例程序的Scala示例。 下面代码片段仅为演示。 具体代码参见：com.huawei.spark.examples.SparkOnMultiHbase def main(args: Array[String]):
向动态分区表中插入数据时，在重试的task中出现"Failed to CREATE_FILE"异常 问题 向动态分区表中插入数据时，shuffle过程中大面积shuffle文件损坏（磁盘掉线、节点故障等）后，为什么会在重试的task中出现"Failed to CREATE_FILE"异常？
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
