检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入并配置Hive JDBC/HCatalog样例工程 操作场景 为了运行MRS产品Hive组件的JDBC/HCatalog接口样例代码，需要完成下面的操作。 以在Windows环境下开发JDBC/HCatalog方式连接Hive服务的应用程序为例。 HCatalog样例仅支持在Linux节点上运行。
需要存放大量的小文件（10MB以下），同时又需要存放一些比较大的文件（10MB以上）。 HFS为以上场景提供了统一的操作接口，这些操作接口与HBase的函数接口类似。必须在HBase的配置参数“hbase.coprocessor.master.classes”中增加一个值：“org
用户无法操作与JobGateway组件相关的作业功能。例如：MRS管控面作业管理中的功能，无法在作业管理中进行提交、终止、查看作业等操作；无法成功调用MRS API V2作业管理接口。 可能原因 JobGateway服务所在节点故障。 处理步骤 登录FusionInsight Manager首页，选择“集群 >
keystore-password”和“security.ssl.truststore-password”的值，需要使用Manager明文加密API进行获取，执行curl -k -i -u user name:password -X POST -HContent-type:application/json
ka、ZooKeeper、Kerberos的安全认证，这些安全认证只需要生成一个jaas文件并设置相关环境变量即可。LoginUtil相关接口可以完成这些配置。 代码样例 此代码片段在com.huawei.bigdata.kafka.example.security包的LoginUtil类中。
过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个ThriftServer服务停止工作，也不影响用户通过同一个客户端接口连接其他正常的ThriftServer服务。 配置描述 登录Manager，选择“集群 > 待操作集群的名称 > 服务 > Spark2x
ka、ZooKeeper、Kerberos的安全认证，这些安全认证只需要生成一个jaas文件并设置相关环境变量即可。LoginUtil相关接口可以完成这些配置。 代码样例 此代码片段在com.huawei.bigdata.kafka.example.security包的LoginUtil类中。
通过HBase日志获取应用程序运行情况。 登录HBase WebUI查看应用程序运行情况。可参见“更多信息 > 对外接口 > Web UI ”。 通过HBase shell命令查看应用程序运行情况。可参见“更多信息 > 对外接口 > Shell ”。 各样例程序运结果如下： HBase数据读写样例运行成功会有如下信息：
常用概念 keytab文件 存放用户信息的密钥文件。应用程序采用此密钥文件在MRS产品中进行API方式认证。 客户端 客户端直接面向用户，可通过Java API、Thrift API访问服务端进行Hive的相关操作。 HQL语言 Hive Query Language，类SQL语句。
场景二：当前批次的Carbondata数据文件和.segment文件完整，可恢复。 使用TableStatusRecovery恢复工具，当前工具仅针对非分区表进行恢复。进入Spark客户端节点，执行如下命令： cd 客户端安装路径 source bigdata_env source
hadoop.hbase.hindex.global.GlobalIndexAdmin”中的方法可以完成对索引状态的修改，相关API介绍请参见的“全局二级索引API介绍”章节。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“Global
hadoop.hbase.hindex.global.GlobalIndexAdmin”中的方法可以完成对索引状态的修改，相关API介绍请参见的“全局二级索引API介绍”章节。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“Global
使用KafkaStreams统计数据 功能简介 以下提供High level KafkaStreams API代码样例及Low level KafkaStreams API代码样例，通过Kafka Streams读取输入Topic中的消息，统计每条消息中的单词个数，从输出Topi
使用KafkaStreams统计数据 功能简介 以下提供High level KafkaStreams API代码样例及Low level KafkaStreams API代码样例，通过Kafka Streams读取输入Topic中的消息，统计每条消息中的单词个数，从输出Topi
开源镜像仓 操作步骤 在IntelliJ IDEA中，打开Maven工具窗口。 在IDEA主页面，选择“View->Tool Windows->Maven”打开“Maven”工具窗口。 图1 打开Maven工具窗口 若项目未通过maven导入，需要执行以下操作： 右键选择单击样例代码项目中的pom文件，选择“Add
HetuEngine样例程序开发思路 通过典型场景，用户可以快速学习和掌握HetuEngine的开发过程，并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序，需要对Hive数据源的A表和MPPDB数据源的B表进行join运算，则可以用HetuEngine来实现Hive数据源数据查询，流程如下：
Manager中下载principal用户的认证凭证，样例代码中使用的用户为：super，需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器
名称 描述 HDFS HDFS提供REST接口与Hue交互，用于查询、操作HDFS文件。 在Hue把用户请求从用户界面组装成接口数据，通过调用REST接口调用HDFS，通过浏览器返回结果呈现给用户。 Hive Hive提供THRIFT接口与Hue交互，用于执行Hive SQL、查询表元数据。
Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。支持多种计算引擎，提供IUD接口，在HDFS的数据集上提供了插入更新和增量拉取的功能。 如需使用Hudi，请确保MRS集群内已安装Spark/Spark2x服务。 图1 Hudi基本架构
Loader的服务端，主要功能包括：处理客户端操作请求、管理连接器和元数据、提交MapReduce作业和监控MapReduce作业状态等。 REST API 实现RESTful（HTTP + JSON）接口，处理来自客户端的操作请求。 Job Scheduler 简单的作业调度模块，支持周期性的执行Loader作业。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
