检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Kafka数据安全传输协议 本章节内容适用于MRS 3.x及后续版本。 Kafka API简单说明 Producer API 指org.apache.kafka.clients.producer.KafkaProducer中定义的接口，在使用“kafka-console-producer.sh
配置Spark SQL开启Adaptive Execution特性 配置场景 Spark SQL Adaptive Execution特性用于使Spark SQL在运行过程中，根据中间结果优化后续执行流程，提高整体执行效率。当前已实现的特性如下： 自动设置shuffle partition
使用Spark小文件合并工具说明 工具介绍 在Hadoop大规模生产集群中，由于HDFS的元数据都保存在NameNode的内存中，集群规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件，会消耗NameNode大量内存，还会大幅降低读写性能，延长作业运行时间。因此
配置基于HTTPS/HTTP协议的REST接口 操作场景 WebHCat为Hive提供了对外可用的REST接口，开源社区版本默认使用HTTP协议。 MRS Hive支持使用更安全的HTTPS协议，并且可以在两种协议间自由切换。 安全模式支持HTTPS和HTTP协议，普通模式只支持HTTP
配置DataNode预留磁盘百分比 配置场景 当Yarn本地目录和DataNode目录配置在同一个磁盘时，具有较大容量的磁盘可以运行更多的任务，因此将有更多的中间数据存储在Yarn本地目录。 目前DataNode支持通过配置“dfs.datanode.du.reserved”来配置预留磁盘空间大小
使用Flume客户端加密工具 安装Flume客户端后，配置文件的部分参数可能需要填写加密的字符，Flume客户端中提供了加密工具。 安装Flume客户端。 登录安装Flume客户端的节点，并切换到客户端安装目录。例如“/opt/FlumeClient”。 切换到以下目录 cd fusioninsight-flume-Flume
配置自定义调度器的WebUI 配置场景 如果用户在ResourceManager中配置了自定义的调度器，可以通过以下配置项为其配置相应的Web展示页面及其他Web应用。 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。 表1 配置自定义调度器的
配置Flume对接安全模式Kafka 使用Flume客户端对接安全kafka。 新增jaas.conf文件，并保存到“${Flume客户端安装目录}/conf”下，jaas.conf文件内容如下： KafkaClient { com.sun.security.auth.module.Krb5LoginModule
配置Spark事件队列大小 配置场景 Spark中见到的UI、EventLog、动态资源调度等功能都是通过事件传递实现的。事件有SparkListenerJobStart、SparkListenerJobEnd等，记录了每个重要的过程。 每个事件在发生后都会保存到一个队列中，Driver
使用Flume客户端加密工具 安装Flume客户端后，配置文件的部分参数可能需要填写加密的字符，Flume客户端中提供了加密工具。 安装Flume客户端。 登录安装Flume客户端的节点，并切换到客户端安装目录。例如“/opt/FlumeClient”。 切换到以下目录 cd fusioninsight-flume-Flume
配置自定义调度器的WebUI 配置场景 如果用户在ResourceManager中配置了自定义的调度器，可以通过以下配置项为其配置相应的Web展示页面及其他Web应用。 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。 表1 配置自定义调度器的
ClickHouse开启mysql_port配置 本章节指导用户使用MySQL客户端连接ClickHouse。 操作步骤 登录FusionInsight Manager，选择“集群 > 服务 > ClickHouse >配置 > 全部配置”。搜索参数项“clickhouse-config-customize
使用Spark BulkLoad工具同步数据到HBase表中 Spark BulkLoad工具支持快速同步Hive或Spark表数据到HBase表中，支持全量或增量导入ORC/PAQUET等格式的表数据。 使用Spark BulkLoad同步数据类型数据到HBase表中时，存在以下限制
配置外网客户端访问Kafka Broker 本章节适用于MRS 3.2.0及之后版本。 操作场景 外网环境Kafka客户端访问部署在内网的Kafka Broker，需开启Kafka内外网分流访问。 前提条件 Broker所在节点同时具有内网IP和外网IP，Broker绑定在内网IP
配置Flume对接安全模式Kafka 使用Flume客户端对接安全kafka。 新增jaas.conf文件，并保存到“${Flume客户端安装目录}/conf”下，jaas.conf文件内容如下： KafkaClient { com.sun.security.auth.module.Krb5LoginModule
配置parquet表的压缩格式 配置场景 当前版本对于parquet表的压缩格式分以下两种情况进行配置： 对于分区表，需要通过parquet本身的配置项“parquet.compression”设置parquet表的数据压缩格式。如在建表语句中设置tblproperties："parquet.compression
FlinkSQL OVER窗口支持超期退窗 本章节适用于MRS 3.5.0及以后版本。 FlinkSQL OVER窗口新增数据超期退窗功能，当已有数据过期且没有新数据到来时，OVER聚合结果刷新并向下游算子发送最新的计算结果，可通过over.window.interval配置该功能
配置Flink SQL Client支持SQL校验功能 本章节适用于MRS 3.3.0及以后版本。 配置Flink SQL Client支持SQL校验功能方法 通过SQL Client进行SQL作业开发时，支持进入校验模式校验SQL语法正确性。校验模式下执行SQL命令不会启动Flink
配置Hive目录旧数据自动移除至回收站 操作场景 此功能适用于Hive组件。 开启此功能后，执行写目录：insert overwrite directory "/path1" ...，写成功之后，会将旧数据移除到回收站，并且同时限制该目录不能为Hive元数据库中已经存在的数据库路径
配置Hive插入数据到不存在的目录中 操作场景 此功能适用于Hive组件。 开启此功能后，在执行写目录：insert overwrite directory “/path1/path2/path3” ...时，其中“/path1/path2”目录权限为700且属主为当前用户，“path3
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
