检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装和配置IntelliJ IDEA 开发环境的基本配置。版本要求：JDK使用1.8版本，IntelliJ IDEA使用2019.1或其他兼容版本。 说明： 若使用IBM JDK，请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle
V1.2及以上的加密协议。 安装和配置IDEA 用于开发Oozie应用程序的工具。版本要求：支持JDK1.8以上的版本。 说明： 若使用IBM JDK，请确保IDEA中的JDK配置为IBM JDK。 若使用Oracle JDK，请确保IDEA中的JDK配置为Oracle JDK。 若使用Open
V1.2及以上的加密协议。 安装和配置IDEA 用于开发Oozie应用程序的工具。版本要求：支持JDK1.8以上的版本。 说明： 若使用IBM JDK，请确保IDEA中的JDK配置为IBM JDK。 若使用Oracle JDK，请确保IDEA中的JDK配置为Oracle JDK。 若使用Open
Tez常用配置参数 参数入口 在Manager系统中，选择“集群 > 服务 > Tez > 配置”，选择“全部配置”。 在搜索框中输入参数名称。 参数说明 表1 参数说明 配置参数 说明 缺省值 property.tez.log.dir Tez日志目录。 /var/log/Bigdata/tez/tezui
模式不需要）。 已安装Kafka客户端。 操作步骤 以客户端安装用户，登录已安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 执行以下命令，配置环境变量。 source bigdata_env 执行以下命
Manager页面，选择“集群 > 服务 > Kafka > 配置 > 全部配置”，搜索参数“sasl.enabled.mechanisms”，将参数值改为“GSSAPI,PLAIN”。单击“保存”，单击“概览”，选择“更多 > 重启服务”使配置生效 获取“huawei-spring-boot-kafka-examples-*
配置Doris SQL防御 操作场景 用户可以在Manager界面配置Doris的SQL防御规则，根据业务调整对应SQL防御规则的参数。 该功能仅MRS 3.5.0及之后版本支持。 前提条件 待连接Doris数据库的节点与MRS集群网络互通。 FE和BE实例状态正常。 已安装MySQL客户端。
作“$HCAT_CLIENT”，并确保已经安装好Hive和Yarn客户端。运行环境变量使HCAT_CLIENT生效。 export HCAT_CLIENT=/opt/hive_client 执行以下命令用于配置环境变量信息（以客户端安装路径为“/opt/client”为例）： export
作“$HCAT_CLIENT”，并确保已经安装好Hive和Yarn客户端。运行环境变量使HCAT_CLIENT生效。 export HCAT_CLIENT=/opt/hive_client 执行以下命令用于配置环境变量信息（以客户端安装路径为“/opt/client”为例）： export
配置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 登录FusionInsight Manager页面，选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。 搜索并查看“dfs.storage.policy.ena
Hudi常见配置参数 本章节介绍Hudi重要配置的详细信息，更多配置请参考Hudi官网http://hudi.apache.org/cn/docs/configurations.html。 写入操作配置 表1 写入操作重要配置项 参数 描述 默认值 hoodie.datasource
Kafka常用配置参数 本章节内容适用于MRS 3.x及后续版本。 参数入口 请参考修改集群服务配置参数进入Kafka服务全部配置页面。 常用参数 表1 参数说明 配置参数 说明 缺省值 log.dirs Kafka数据存储目录列表，以逗号分隔多个目录。 %{@auto.detect
warehouse.dir配置 保存并重启Hive服务。 （可选）安装客户端，具体请参考安装MRS集群客户端。如果集群已安装客户端请执行4。 更新客户端配置文件。 执行以下命令修改客户端Hive配置文件目录下的“hivemetastore-site.xml”。 vim 客户端安装目录/Hive
Metastore方式对接OBS 已参考配置Hive基于MetaStore方式对接OBS完成相关配置操作。 登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine > 更多 > 同步配置”，同步配置完成后，再选择“更多 > 同步配置”，根据提示重启HetuEngine服务。
Impala常见配置参数 本章节适用于MRS 3.x及后续版本。 参数入口 在Manager系统中，选择“集群 > 服务 > Impala > 配置”，选择“全部配置”。在搜索框中输入参数名称。 参数说明 下表仅列举了部分常用参数，实际参数以Manager页面为准，参数详情请参见官网https://docs
据库名/表名"; 配置Spark基于Hive MetaStore方式对接OBS： 已完成配置Hive基于MetaStore方式对接OBS相关配置操作。 登录FusionInsight Manager，选择“集群 > 服务 > Spark > 配置 > 全部配置 ”。 在左侧的导航列表中选择“SparkResource
compaction&cleaning配置 参数 描述 默认值 hoodie.clean.automatic 是否执行自动clean。 true hoodie.cleaner.policy 要使用的清理策略。Hudi将删除旧版本的parquet文件以回收空间。 任何引用此版本文件
aadmin组，普通模式不需要）。 已安装Kafka客户端。 操作步骤 以客户端安装用户，登录已安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 执行以下命令，配置环境变量。 source bigdata_env
Hue常用配置参数 参数入口 参数入口，请参考修改集群服务配置参数进入Hue服务“全部配置”页面。 参数说明 Hue常用参数请参见表1。 表1 Hue常用参数 配置参数 说明 缺省值 范围 HANDLER_ACCESSLOG_LEVEL Hue的访问日志级别。 DEBUG ERROR
配置HDFS通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在HDFS客户端查看和创建OBS文件目录。 HDFS对接OBS 以客户端安装用户登录安装了HDFS客户端的节点。 执行以下命令，切换到客户端安装目录。 cd 客户端安装目录
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
