检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
确保本地环境的时间与MRS集群的时间差要小于5分钟，若无法确定，请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。 已准备开发环境及MRS集群相关配置文件，详情请参考准备连接MapReduce集群配置文件。 操作步骤 参考获取MRS应用开发样例工程，获取样
通过JDBC访问Spark SQL的程序 Spark on HBase程序 从HBase读取数据再写入HBase 从Hive读取数据再写入HBase Streaming从Kafka读取数据再写入HBase Spark Streaming对接kafka0-10程序 Structured
查询HBase二级索引列表 功能介绍 您可以使用org.apache.hadoop.hbase.hindex.client.HIndexAdmin中提供的方法来管理HIndexes。 该类提供了列出表的现有索引的方法。 HIndexAdmin为给定表格列出索引提供以下API： listIndices():
前提条件 MRS集群已安装Spark组件，并且正常运行。 已创建具有Spark管理操作权限的用户，用户组添加hadoop、hive、supergroup，主组添加hadoop。 操作步骤 使用具有Spark管理操作权限的用户登录Manager页面，选择“集群 > 服务 > Spark”。
shuffle服务连接特定IP，可以参考该章节进行配置。 配置描述 当需要MapReduce shuffle服务绑定特定IP时，需要在NodeManager实例所在节点的配置文件“mapred-site.xml”中（例如路径为：${BIGDATA_HOME}/FusionInsight_HD_xxx/x_xx_No
确保本地的hosts文件中配置了远程集群所有主机的主机名和业务IP映射关系。 操作步骤 修改WordCountTopology.java类，使用remoteSubmit方式提交应用程序。并替换用户keytab文件名称，用户principal名称，和Jar文件地址。 使用remoteSubmit方式提交应用程序
”，显示“Open File or Project”对话框。 在弹出窗口选择文件夹“hive-jdbc-example”，单击“OK”。Windows下要求该文件夹的完整路径不包含空格。 设置IntelliJ IDEA的文本文件编码格式，解决乱码显示问题。 在IntelliJ IDEA的菜单栏中，选择“File
目录下的样例工程文件夹“hdfs-example-normal”。 导入样例工程到IntelliJ IDEA开发环境。 打开IntelliJ IDEA，依次选择“File > Open”。 在弹出的Open File or Project对话框中选择样例工程文件夹“hdfs-ex
开发HDFS应用 HDFS样例程序开发思路 初始化HDFS 创建HDFS目录 创建HDFS文件并写入内容 追加信息到HDFS指定文件 读取HDFS指定文件内容 删除HDFS指定文件 删除HDFS指定目录 创建HDFS多线程任务 配置HDFS存储策略 配置HDFS同分布策略（Colocation）
下载HBase配置文件到本地，并解压。 登录目的端HBase集群的FusionInsight Manager，选择“集群 > 服务 > HBase”。 选择“更多 > 下载客户端”。 图1 下载HBase客户端 下载HBase配置文件，客户端类型选择仅配置文件。 图2 下载HBase配置文件
自定义”修改HiveServer角色的“hive-site.xml”自定义配置文件，增加HBase配置文件的如下配置项。 从已下载的HBase客户端配置文件的hbase-site.xml中，搜索并添加如下配置项及其取值到HiveServer中。 hbase.security.authentication hbase
kafka-examples 单线程生产数据，相关样例请参考使用Producer API向安全Topic生产消息。 单线程消费数据，相关样例请参考使用Consumer API订阅安全Topic并消费。 多线程生产数据，相关样例请参考使用多线程Producer发送消息。 多线程消费数据，相关样例请参考使用Consumer
ngboot\hive-examples”目录下的样例工程文件夹“hive-rest-client-example”。 将准备MRS应用开发用户时得到的keytab文件“user.keytab”和“krb5.conf”文件放到样例工程的“hive-rest-client-exam
quota of /hbase is exceeded。 解决办法 通过后台使用df -h命令查看数据盘目录空间已满，因此需要删除无用的数据来进行应急恢复。 后续需要扩容节点来解决数据目录空间不足问题。 父主题： 使用HBase
”，查看ZooKeeper实际使用的堆内存大小。 根据堆内存实际使用量，修改GC_OPTS参数中的-Xmx值，该值一般为Zookeeper数据容量的2倍。例如当前ZooKeeper堆内存使用达到2G，则GC_OPTS建议配置为“-Xms4G -Xmx4G -XX:NewSize=512M
为什么不同服务之间互相删除UDF失败 Spark SQL无法查询到Parquet类型的Hive表的新插入数据 cache table使用指导 Repartition时有部分Partition没数据 16T的文本数据转成4T Parquet数据失败 当表名为table时，执行相关操作时出现异常 执行analyze table语句，因资源不足出现任务卡住
-example”文件夹中的“pom.xml”文件，单击“OK”。 确认后续配置，单击“Next”；如无特殊需求，使用默认值即可。 选择推荐的JDK版本，单击“Finish”完成导入。 在开发环境IntelliJ IDEA中，样例工程的conf目录下，打开文件“clickhouse-example
IDEA工具，同时完成JDK、Maven等初始配置。 准备本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件以及用于安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要
spark-sql退出时打印RejectedExecutionException异常栈 问题 执行大数据量的Spark任务（如2T的TPCDS测试套），任务运行成功后，在spark-sql退出时概率性出现RejectedExecutionException的异常栈信息，相关日志如下所示：
配置中添加OBS快删目录的配置后，删除Hive表。 执行结果为成功，但是OBS目录没有删掉。 回答 由于没有给用户配置快删目录的权限，导致数据不能被删除。 需要修改用户对应的委托的IAM自定义策略，在策略内容上，配置Hive快删目录的权限。 父主题： Hive常见问题
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
