-
导入并配置ClickHouse样例工程 - MapReduce服务 MRS
IP:登录FusionInsight Manager,选择“集群 > 服务 > ClickHouse > 实例”,查看所有ClickHouseBalancer实例对应的业务IP地址。 端口:登录FusionInsight Manager,选择“集群 > 服务 > ClickHouse > 逻辑集群”,查看对应逻辑集群的TCP
-
准备本地应用开发环境 - MapReduce服务 MRS
8及以上。 安装和配置Eclipse 用于开发HBase应用程序的工具。 安装Maven 用于编译样例工程。 网络 确保客户端与HBase服务主机在网络上互通。 选择Windows开发环境下,安装Eclipse,安装JDK。 请安装JDK1.8及以上版本。Eclipse使用支持JDK1
-
导入并配置Storm样例工程 - MapReduce服务 MRS
Configure 在弹出的“Project Structure for New Projects”页面中,选择“SDKs”,单击加号添加JDK。 图3 Project Structure for New Projects 在弹出的“Select Home Directory for JDK
-
配置Hive JDBC接口访问Hive安全认证 - MapReduce服务 MRS
环境运行,不依赖集群客户端。HCatalog、Python、Python3样例工程仅提供Linux环境运行示例,依赖Linux环境已安装的集群客户端进行认证,样例工程代码不涉及安全认证。 前提条件 已获取样例工程代码以及运行所需的配置文件及认证文件,详细操作请参见准备连接Hive集群配置文件。
-
导入并配置Storm样例工程 - MapReduce服务 MRS
Configure 在弹出的“Project Structure for New Projects”页面中,选择“SDKs”,单击加号添加JDK。 图3 Project Structure for New Projects 在弹出的“Select Home Directory for JDK
-
配置MapReduce应用安全认证 - MapReduce服务 MRS
配置MapReduce应用安全认证 场景说明 在安全集群环境下,各个组件之间的相互通信不能够简单的互通,而需要在通信之前进行相互认证,以确保通信的安全性。 用户在提交MapReduce应用程序时,需要与Yarn、HDFS等之间进行通信。那么提交MapReduce的应用程序中需要写
-
配置HBase应用安全认证 - MapReduce服务 MRS
配置HBase应用安全认证 HBase数据读写示例安全认证(单集群场景) HBase服务数据读写示例安全认证(多集群互信场景) 调用REST接口访问HBase应用安全认证 访问HBase ThriftServer认证 HBase访问多ZooKeeper场景安全认证 调用Sprin
-
导入并配置HDFS样例工程 - MapReduce服务 MRS
Start 在下拉框中选择“Project Defaults > Project Structure”。 图3 Configure 在弹出的“Project Structure for New Projects”页面中,选择“SDKs”,单击加号添加JDK。 图4 Project Structure
-
准备连接Kafka集群配置文件 - MapReduce服务 MRS
kafkaSecurityMode Kafka服务是否开启安全模式标记文件。 producer.properties Kafka的producer端配置信息。 server.properties Kafka的服务端的配置信息。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中。
-
准备HDFS应用开发和运行环境 - MapReduce服务 MRS
当客户端所在主机不是集群中的节点时,配置客户端网络连接,可避免执行客户端命令时出现错误。 Windows本地hosts文件存放路径举例:“C:\WINDOWS\system32\drivers\etc\hosts”。 如果使用Linux环境调测程序,需准备安装集群客户端的Linux节点并获取相关配置文件。
-
准备连接HBase集群配置文件 - MapReduce服务 MRS
准备ThriftServer实例配置文件 若需实现访问HBase ThriftServer并进行表相关操作,则需执行以下步骤获取相关配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > HBase > 配置 > 全部配置”,搜索并修改ThriftServer实例的配置参数“hbase
-
准备Impala开发和运行环境 - MapReduce服务 MRS
面网络互通。 安装JDK 开发和运行环境的基本配置。版本要求如下: MRS集群的服务端和客户端仅支持自带的Oracle JDK(版本为1.8),不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的,支持Oracle JDK和IBM JDK。 Oracle JDK:支持1
-
准备连接Hive集群配置文件 - MapReduce服务 MRS
具体操作请参考配置Windows通过EIP访问安全模式集群Hive。 Windows本地hosts文件存放路径举例:“C:\WINDOWS\system32\drivers\etc\hosts”。 场景二:准备Linux环境运行程序所需配置文件。 在节点中安装客户端。 例如客户
-
准备本地应用开发环境 - MapReduce服务 MRS
0_272版本。 安装和配置IDEA 用于开发Flink应用程序的工具。版本要求:14.1.7。 安装Scala Scala开发环境的基本配置。版本要求:2.11.7。 安装Scala插件 Scala开发环境的基本配置。版本要求:1.5.4。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。
-
配置并导入SpringBoot样例工程 - MapReduce服务 MRS
> 服务 > Doris”,查看“Leader所在的主机”获取。 将代码中PORT = "xxx"的“xxx”修改为Doris的MySQL协议查询连接端口,默认为29982,可登录FusionInsight Manager,选择“集群 > 服务 > Doris > 配置”,搜索“query_port”获取。
-
导入并配置Flink样例工程 - MapReduce服务 MRS
在Flink的客户端或者服务端安装路径的lib目录下获取。 kafka-clients-*.jar 由Kafka组件发布提供,可在Kafka组件客户端或者服务端安装路径下的lib目录下获取。 flink-connector-kafka_2.11*.jar 在Flink客户端或者服务端安装路径的opt目录下获取。
-
导入并配置Flink样例工程 - MapReduce服务 MRS
flink-connector-kafka_*.jar可在Flink客户端或者服务端安装路径的opt目录下获取。 kafka-clients-*.jar由Kafka组件发布提供,可在Kafka组件客户端或者服务端安装路径下的lib目录下获取。 异步Checkpoint机制程序样例工程(Java/Scala)
-
准备ClickHouse应用运行环境 - MapReduce服务 MRS
Windows本地hosts文件存放路径举例:“C:\WINDOWS\system32\drivers\etc\hosts”。 场景二:准备Linux环境程序所需配置文件。 在节点中安装客户端。例如客户端安装目录为“/opt/client”。 检查客户端节点网络连接。 在安装客户端过程中,系统会自动配置客户端节点“
-
准备本地应用开发环境 - MapReduce服务 MRS
0_242版本。 说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。 安装和配置IntelliJ IDEA 开发环境的基本配置,建议使用2019.1或其他兼容版本。 说明: 若使用Oracle JDK,请确保IntelliJ IDEA中的JDK配置为Oracle JDK。 若使用Open
-
准备本地应用开发环境 - MapReduce服务 MRS
JDK,请确保IntelliJ IDEA中的JDK配置为Oracle JDK。 若使用Open JDK,请确保IntelliJ IDEA中的JDK配置为Open JDK。 安装JDK 开发和运行环境的基本配置。版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1.8.0_272,不允许替换。