检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的方式去操作HBase，使用mapPartition接口并行遍历HBase表。 数据规划 使用foreachPartition接口使用章节创建的HBase数据表。 开发思路 构造需要遍历的HBase表中rowkey的RDD。 使用mapPartition接口遍历上述rowkey对应的数据信息，并进行简单的操作。
SparkSQL读取ORC表报错 问题现象 Hive创建ORC存储格式的表，用SparkSQL读取该表时报错： 原因分析 该问题为一个开源社区问题：https://issues.apache.org/jira/browse/HIVE-11102，使用开源的hive 1.2.1版本包就有可能触发此问题。
ClickHouse消费Kafka数据异常 问题现象 用户在ClickHouse集群创建Kafka引擎表test.user_log_kafka消费Kafka数据，查看Kafka监控发现凌晨开始出现消息堆积，数据一直没有被消费。 原因分析 Kafka出现消息堆积，说明ClickHo
Flink客户端执行命令报错“Could not connect to the leading JobManager” 问题背景与现象 创建Fllink集群，执行yarn-session.sh命令卡住一段时间后报错： 2018-09-20 22:51:16,842 | WARN
OBJECT OWNERSHIP] (state=42000,code=40000) 原因分析 当前登录的用户不具备该目录或者其父目录的读写权限。创建外部表时，会判断当前用户对指定的目录以及该目录下其它目录和文件是否有读写权限，如果该目录不存在，会去判断其父目录，依次类推。如果一直不满足
修改Kafka Topic配置 操作场景 用户可以根据业务需要，使用集群客户端创建Kafka Topic。启用Kerberos认证的集群，需要拥有管理Kafka主题的权限。也可以通过KafkaUI修改Topic Configs。 安全模式下，KafkaUI对修改Topic Con
MapReduce Java API接口介绍 关于MapReduce的详细API可以参考官方网站：http://hadoop.apache.org/docs/r3.1.1/api/index.html 常用接口 MapReduce中常见的类如下： org.apache.hadoop
的管理权限，导致界面报错或部分功能不可用。 例如： 使用当前用户登录Flink WebUI后，部分内容不能正常显示，且没有权限创建应用、创建集群连接、创建数据连接等： 使用当前用户访问HDFS WebUI报错：Failed to retrieve data from /jmx?qry=java
客户端配置、用户认证密钥文件。 快速建立数据连接：通过数据连接功能配置访问一个组件。创建“数据连接类型”为“HDFS”类型时需创建集群连接，其他数据连接类型的“认证类型”为“KERBEROS”需创建集群连接，“认证类型”为“SIMPLE”不需创建集群连接。 “数据连接类型”为“K
客户端配置、用户认证密钥文件。 快速建立数据连接：通过数据连接功能配置访问一个组件。创建“数据连接类型”为“HDFS”类型时需创建集群连接，其他数据连接类型的“认证类型”为“KERBEROS”需创建集群连接，“认证类型”为“SIMPLE”不需创建集群连接。 “数据连接类型”为“K
使用SELECT查询结果创建新视图。视图是一个逻辑表，可以被将来的查询所引用，视图中没有数据。该视图对应的查询在每次被其他查询引用该视图时都会被执行。 如果视图已经存在，则可选ORREPLACE子句将导致视图被替换，而不会报错。 示例 通过表orders创建一个视图test： CREATE
导入并配置HDFS样例工程 操作场景 HDFS针对多个场景提供样例工程，帮助客户快速学习HDFS工程。 以下操作步骤以导入HDFS样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 导入样例工程 参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例
如不指定用户，则匿名登录； 在JDBC URL地址中提供登录Kerberos用户的principal，程序自动完成安全登录、建立Impala连接。 执行创建表、查询和删除三类Impala SQL语句。 package com.huawei.bigdata.impala.example;
配置Oozie作业操作HDFS文件 功能描述 HDFS文件操作节点，支持对HDFS文件及目录的创建、删除、授权功能。 参数解释 FS Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name FS活动的名称 delete 删除指定的文件和目录的标签
配置Oozie作业操作HDFS文件 功能描述 HDFS文件操作节点，支持对HDFS文件及目录的创建、删除、授权功能。 参数解释 FS Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name FS活动的名称 delete 删除指定的文件和目录的标签
如不指定用户，则匿名登录； 在JDBC URL地址中提供登录Kerberos用户的principal，程序自动完成安全登录、建立Impala连接。 执行创建表、查询和删除三类Impala SQL语句。 package com.huawei.bigdata.impala.example;
FS Action 功能描述 HDFS文件操作节点，支持对HDFS文件及目录的创建、删除、授权功能。 参数解释 FS Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name FS活动的名称 delete 删除指定的文件和目录的标签 move 将文件从源目录移动到目标目录的标签
tition接口将rdd并发写入HBase表中。 数据规划 在客户端执行：hbase shell命令进入HBase命令行。 使用下面的命令创建HBase表： create 'table2','cf1' 开发思路 将要导入的数据构造成RDD。 以HBaseContext的方式操作H
的方式去操作HBase，使用mapPartition接口并行遍历HBase表。 数据规划 使用foreachPartition接口使用章节创建的HBase数据表。 开发思路 构造需要遍历的HBase表中rowkey的RDD。 使用mapPartition接口遍历上述rowkey对应的数据信息，并进行简单的操作。
提交的Yarn作业在界面上查看不到如何处理？ 问： 创建完Yarn作业后，以admin用户登录Manager界面查看不到运行的作业。 答： admin用户为集群管理页面用户，检查是否有supergroup权限，通常需要使用具有supergroup权限的用户才可以查看作业。 使用提
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
