检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark应用名在使用yarn-cluster模式提交时不生效 问题 Spark应用名在使用yarn-cluster模式提交时不生效，在使用yarn-client模式提交时生效，如图1所示，第一个应用是使用yarn-client模式提交的，正确显示代码里设置的应用名Spark P
Flink向Kafka生产并消费数据Java样例代码 功能简介 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 用户在开发前需要使用对接安全模式的Kafka，则需要引入MRS的kafka-client-xx.x.x.jar，该jar包可在MRS
Flink向Kafka生产并消费数据Scala样例代码 功能简介 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 用户在开发前需要使用对接安全模式的Kafka，则需要引入MRS的kafka-client-xx.x.x.jar，该jar包可在MRS
编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。 若运行“Spark on
使用REST接口获取所有HBase表 功能简介 使用REST服务，传入对应host与port组成的url，通过HTTP协议，获取得到所有table。 代码样例 以下代码片段在“hbase-rest-example\src\main\java\com\huawei\hadoop\h
通过ThriftServer实例读HBase表数据 功能简介 传入ThriftServer实例所在host和提供服务的port，根据认证凭据及配置文件新建Thrift客户端，访问ThriftServer，分别使用get和scan进行读数据操作。 代码样例 方法调用 // Get data
MapReduce二次开发远程调试 问题 MapReduce二次开发过程中如何远程调试业务代码？ 回答 MapReduce开发调试采用的原理是Java的远程调试机制，在Map/Reduce任务启动时，添加Java远程调试命令。 首先理解两个参数：“mapreduce.map.java
conf文件中的对应配置访问FusionInsight ZooKeeper； [2] zookeeper.server.principal：指定ZooKeeper服务端使用principal，格式为“zookeeper/hadoop.系统域名”，例如：zookeeper/hadoop.HADOOP.CO
HBase数据读写示例安全认证（单集群场景） 场景说明 在安全集群环境下，各个组件之间的相互通信不能够简单的互通，而需要在通信之前进行相互认证，以确保通信的安全性。HBase应用开发需要进行ZooKeeper和Kerberos安全认证。用于ZooKeeper认证的文件为“jaas
使用Filter过滤器读取HBase表数据 功能简介 HBase Filter主要在Scan和Get过程中进行数据过滤，通过设置一些过滤条件来实现，如设置RowKey、列名或者列值的过滤条件。 代码样例 以下代码片段在com.huawei.bigdata.hbase.exampl
通过ThriftServer实例操作HBase表 功能简介 传入ThriftServer实例所在host和提供服务的port，根据认证凭据及配置文件新建Thrift客户端，访问ThriftServer，进行根据指定namespace获取tablename以及创建表、删除表的操作。
Hive SQL与SQL2003标准有哪些兼容性问题 本文列举目前已发现的Hive SQL与SQL2003标准兼容性问题。 不支持在having中写视图。 举例如下： select c_last_name ,c_first_name ,s_store_name
IE浏览器访问Spark2x原生UI界面失败，无法显示此页或者页面显示错误 问题 通过IE 9、IE 10和IE 11浏览器访问Spark2x的原生UI界面，出现访问失败情况或者页面显示错误问题。 现象 访问页面失败，浏览器无法显示此页，如下图所示： 原因 IE 9、IE 10、IE
通过Spark-sql创建Hudi表或者Hive表，未插入数据前，查询表统计信息为空 问题 通过spark-sql创建Hudi表或者Hive表，未插入数据之前，查询表统计信息都为空。 回答 可以通过以下两种方式生成： 手动通过analyze命令，触发统计信息收集。如果没有插入数据
基于全局二级索引查询HBase表数据 基于索引查询HBase表数据 在具有索引的用户表中，可以使用SingleColumnValueFilter来查询数据。当查询条件可以命中索引时，查询速度远快于原表查询。 索引的命中规则如下： 多个AND条件查询 当用于查询的列至少包含索引的一个列时，使用索引会提高查询性能。
32G-HeapBaseMinAddress的值。 登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > HBase > 实例”，选择失败实例，选择“更多 > 重启实例”来重启失败实例。 父主题： HBase故障排除
agerRestart.html 可以通过如下方式启用Work-preserving RM restart功能： 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中“yarn.resourcemanager.work-preserving-recovery.
JobHistoryServer服务地址变更后，需要将新的服务地址及时更新到MapReduce客户端配置文件中，否则，新运行的作业在查看作业历史信息时，仍然会指向原JobHistoryServer地址，导致无法正常跳转到作业历史信息页面。服务地址变更前运行的MapReduce作
使用FusionInsight Manager界面中的Flume配置工具来配置Flume角色服务端参数并生成配置文件。 登录FusionInsight Manager，选择“集群 > 服务 > Flume > 配置工具”。 图2 选择配置工具 “Agent名”选择“client”
网络问题导致运行应用程序时出现异常 问题 应用程序在Windows环境下运行时，发现连接不上MRS集群，而在Linux环境下（和安装了MRS集群的机器是同一个网络）却运行正常。 回答 由于Kerberos认证需要使用UDP协议，而防火墙做了特殊处理关掉了需要使用的UDP端口，导致
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
