检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MapReduce二次开发远程调试 问题 MapReduce二次开发过程中如何远程调试业务代码？ 回答 MapReduce开发调试采用的原理是Java的远程调试机制，在Map/Reduce任务启动时，添加Java远程调试命令。 首先理解两个参数：“mapreduce.map.java
准备MapReduce开发和运行环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
未安装客户端时编译并运行HBase应用 HBase应用程序支持在未安装HBase客户端的Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至Linux环境中运行应用。 前提条件 Linux环境已安装JDK，版本号需要和Eclipse导出Jar包使用的JDK版本一致。
使用REST接口获取所有HBase表 功能简介 使用REST服务，传入对应host与port组成的url，通过HTTP协议，获取得到所有table。 代码样例 以下代码片段在“hbase-rest-example\src\main\java\com\huawei\hadoop\h
install编译构建HBase Jar包报错Could not transfer artifact如何处理 问题 样例代码在进行maven编译构建jar包时，Build Failed，提示错误信息：Could not transfer artifact org.apache.c
使用Filter过滤器读取HBase表数据 功能简介 HBase Filter主要在Scan和Get过程中进行数据过滤，通过设置一些过滤条件来实现，如设置RowKey、列名或者列值的过滤条件。 代码样例 以下代码片段在com.huawei.bigdata.hbase.exampl
Hive SQL与SQL2003标准有哪些兼容性问题 本文列举目前已发现的Hive SQL与SQL2003标准兼容性问题。 不支持在having中写视图。 举例如下： select c_last_name ,c_first_name ,s_store_name
Spark REST API接口介绍 功能简介 Spark的REST API以JSON格式展现Web UI的一些指标，提供用户一种更简单的方法去创建新的展示和监控的工具，并且支持查询正在运行的app和已经结束的app的相关信息。开源的Spark REST接口支持对Jobs、Sta
SparkSQL UDF功能的权限控制机制 问题 SparkSQL中UDF功能的权限控制机制是怎样的？ 回答 目前已有的SQL语句无法满足用户场景时，用户可使用UDF功能进行自定义操作。 为确保数据安全以及UDF中的恶意代码对系统造成破坏，SparkSQL的UDF功能只允许具备a
配置Spark Python3样例工程 操作场景 为了运行MRS产品Spark2x组件的Python3接口样例代码，需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3，其版本不低于3.6。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3
Spark Scala API接口介绍 由于Spark开源版本升级，为避免出现API兼容性或可靠性问题，建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类： SparkContext：是Spark的对外接口，负责向调用该类的scala应
由于Kafka配置的限制，导致Spark Streaming应用运行失败 问题 使用运行的Spark Streaming任务回写Kafka时，Kafka上接收不到回写的数据，且Kafka日志报错信息如下： 2016-03-02 17:46:19,017 | INFO | [kaf
Spark同步HBase数据到CarbonData（Java） 以下为Spark同步HBase数据到CarbonData的Java示例。 下面代码片段仅为演示。 具体代码参见：com.huawei.spark.examples.HBaseExternalHivetoCarbon。
网络问题导致运行应用程序时出现异常 问题 应用程序在Windows环境下运行时，发现连接不上MRS集群，而在Linux环境下（和安装了MRS集群的机器是同一个网络）却运行正常。 回答 由于Kerberos认证需要使用UDP协议，而防火墙做了特殊处理关掉了需要使用的UDP端口，导致
HBase全局二级索引样例程序开发思路 HBase支持使用全局二级索引加速条件查询，通过本样例，您可以了解如何管理及使用全局二级索引。 该样例程序仅适用于MRS 3.3.0及之后版本。 场景说明 假定用户开发一个应用程序，其中一个功能需要记录用户信息及地址，记录数据如下表： 表1
运行SparkStreamingKafka样例工程时报“类不存在”问题 问题 通过spark-submit脚本提交KafkaWordCount（org.apache.spark.examples.streaming.KafkaWordCount）任务时，日志中报Kafka相关的类
配置Hive Python3样例工程 操作场景 为了运行MRS产品Hive组件的Python3接口样例代码，需要完成下面的操作。 操作步骤 客户端机器必须安装有Python3，其版本不低于3.6，最高不能超过3.8。 在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3
MapReduce统计样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发MapReduce应用程序实现如下功能： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“
Spark Structured Streaming样例程序（Python） 功能介绍 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：
如何处理Flink任务配置State Backend为RocksDB时报错GLIBC版本问题 问题 Flink任务配置State Backend为RocksDB时，运行报如下错误： Caused by: java.lang.UnsatisfiedLinkError: /srv/B
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
