检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OK”，从而完成资源目录的设置。如图“图7”所示。 图7 设置工程资源目录 将工程依赖的jar包添加到类路径。 如果通过开源镜像站方式获取的样例工程代码，在配置好Maven后（配置方式参考配置华为开源镜像仓）， 相关依赖jar包将自动下载，不需手动添加。 设置IntelliJ IDEA的文本文件编码格式，解决乱码显示问题。
IDEA工具，同时完成JDK、Maven等初始配置。 准备本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。
ZooKeeper和客户应用访问第三方ZooKeeper。 前提条件 已获取样例工程运行所需的配置文件及认证文件，详细操作请参见准备连接HBase集群配置文件。 配置样例代码 以下为“src/main/resources”目录下提供的与认证相关的配置文件。 zoo.cfg # The configuration
HBase运维管理 HBase日志介绍 HBase常用参数配置 配置Region Transition恢复线程 启用集群间拷贝功能备份集群数据 配置HBase主备集群数据自动备份 HBase集群容灾高可用 父主题： 使用HBase
commit阶段的性能。 操作步骤 参数入口： 进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 表1 参数说明 参数 描述 默认值 mapreduce.fileoutputcommitter.algorithm.version 用于指定
SDK”的版块，按照页面弹出的设置方法进行操作。 如果不想覆盖Maven配置文件，也可以参考以下方法手动修改“settings.xml”配置文件或者组件样例工程中的“pom.xml”文件，配置镜像仓地址。 配置方法一： 手动在“settings.xml”配置文件的“mirrors”节点中添加以下开源镜像仓地址：
等初始配置。 准备本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括用于安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。
等初始配置。 准备本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括用于安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。
JDK”窗口，选择对应的JDK目录，然后单击“OK”。 图6 选择JDK目录 完成JDK选择后，单击“OK”完成配置。 图7 完成JDK配置 （可选）如果是Scala开发环境，还需要在IntelliJ IDEA中安装Scala插件。 在“Configure”下拉菜单中，单击“Plugins”。 图8 Plugins
如何通过happybase连接到MRS服务的HBase？ 问： 大数据应用如何通过happybase连接到MRS服务的HBase？ 答： MRS服务集群的HBase服务使用的是thriftserver2，thriftserver1和thriftserver2不能同时并存，但happybas
开启本功能之后，外表功能变化大。请充分考虑实际应用场景，再决定是否做出调整。 操作步骤 登录FusionInsight Manager页面，选择“集群 > 服务 > Hive > 配置 > 全部配置”。 选择“HiveServer（角色） > 自定义”，对参数文件“hive-site.xml”添加自定义参数，设置“名称”为“hive
使用HetuEngine跨源跨域访问数据源 添加Hive数据源 添加Hudi数据源 添加ClickHouse数据源 添加GAUSSDB数据源 添加HBase数据源 添加跨集群HetuEngine数据源 添加IoTDB数据源 添加MySQL数据源 添加Oracle数据源 添加GBase数据源 父主题： 使用HetuEngine
output”参数指定文件的输出路径。 操作步骤 参数入口：执行批量加载任务时，在BulkLoad命令行中加入表1中的参数。 表1 增强BulkLoad效率的配置项 参数 描述 配置的值 -Dimporttsv.mapper.class 用户自定义mapper通过把键值对的构造从mapper移动到reduce
0及之后版本。 登录Manager。 在Manager界面，选择“集群 > 待操作集群的名称 > 服务 > Impala > 配置 > 全部配置 > Impalad（角色） > LDAP”。 配置如下参数的值。 表1 参数配置 参数名称 参数描述 备注 --enable_ldap_auth
Kafka的运行环境即Kafka客户端，请根据指导完成客户端的安装和配置。 准备本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件以及用于安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行
topic中的角色称为Producer。 Consumer 从Kafka Topic中获取消息的角色称为Consumer。 Broker Kafka集群中的每一个节点服务器称为Broker。 父主题： Kafka开发指南（普通模式）
directory"配置选项设置成“/tmp”或者“/opt/Bigdata/tmp”。 当用户将"blob.storage.directory"配置选项设置成自定义目录时，需要手动赋予用户该目录的owner权限。以下以MRS的admin用户为例。 修改Flink客户端配置文件conf/flink-conf
FlinkSQL HBase数据表开发建议 客户端提交作业时通过with属性添加HBase配置信息 Flink客户端提交作业，如SQL client提交，在建表语句中添加如下配置： 表1 Flink作业with属性 配置 说明 'properties.hbase.rpc.protection' =
移、重建元数据操作时需要特别注意，防止错误。 操作步骤 登录FusionInsight Manager页面，选择“集群 > 服务 > Hive > 配置 > 全部配置”。 选择“HiveServer（角色） > 自定义”，对参数文件“hive-site.xml”添加自定义参数，设置“名称”为“hive
据。 前提条件 已下载并安装Hudi客户端，目前Hudi集成在MRS集群的Spark/Spark2x服务中，用户从Manager页面下载包含Spark/Spark2x服务的客户端即可，例如客户端安装目录为“/opt/hadoopclient”。 如果集群已开启Kerberos认证
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
