检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Spark数据传输加密 操作场景 本章节指导用户设置Spark安全通道加密，以增强安全性。 该章节仅适用于MRS 3.x及之后版本。 配置Spark数据传输加密 参数修改入口：登录Manager页面，选择“集群 > 服务 > Spark > 配置”，展开“全部配置”页签，在搜索框中输入相关参数名称。
查看Flume使用的直接内存是否已达到Flume设定的阈值（默认值为最大直接内存的80%）。 是，执行4。 否，执行6。 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Flume > 配置”，选择“全部配置”，选择“Flume > 系统”。将“GC_OPTS
rSync设定的阈值（默认值为最大直接内存的80%）。 是，执行4。 否，执行6。 在FusionInsight Manager首页，选择“集群 > 服务 > Ranger > 实例 > UserSync >实例配置”，单击“全部配置”，选择“UserSync > 系统”。将“G
已访问Loader页面，参见Loader页面介绍。 创建连接 在Loader页面，单击“管理连接”。 单击“新建连接”，配置连接参数。 参数介绍具体可参见Loader连接配置说明。 单击“保存”。 如果连接配置，例如IP地址、端口、访问用户等信息不正确，将导致验证连接失败无法保存。另外VPC相关设置，也可能影响网络连通性。
在“添加监听器”界面，根据界面提示完成具体配置。 配置监听器。 “前端协议/端口”选择“TCP”、端口填写“9000”，其他参数保持默认。配置完成单击“下一步”。 如果是通过HTTP请求访问，则“前端协议/端口”选择“HTTP”、端口填写“8123”。 配置后端服务器组。 “分配策略类型”
如果首次登录云服务器，PuTTY会显示安全警告对话框，询问是否接受服务器的安全证书。单击“是”将证书保存到本地注册表中。 本地使用Linux操作系统 如果您本地使用Linux操作系统登录Linux弹性云服务器，可以按照下面方式登录。下面步骤以私钥文件以kp-123.pem为例进行介绍。 在您的linux计算机的命令行中执行如下命令，变更权限。
配置受信任IP访问LDAP以后，未配置的IP无法访问LDAP。扩容前，新增加的IP需要配置为受信任的IP。 前提条件 根据安装规划，收集集群内全部节点的管理平面IP、业务平面IP和所有浮动IP。 获取集群内节点的root用户和密码。 配置受信任IP地址访问LDAP 配置OMS LDAP信任的IP地址
址。 将云服务器的“业务端口”都设置为Doris FE服务的MySQL协议查询连接端口，默认为“9030”，可在Doris组件的服务配置页面搜索“query_port”查看。 单击“下一步：确认配置”确认配置。 确认配置无误后，单击“提交”完成ELB配置。 单击创建的监听器所在行
efaults.conf配置文件中，在spark.driver.extraJavaOptions和spark.executor.extraJavaOptions配置项中添加参数："-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps"
agSync设定的阈值（默认值为最大非堆内存的80%）。 是，执行4。 否，执行6。 在FusionInsight Manager首页，选择“集群 > 服务> Ranger > 实例 > TagSync > 实例配置”，单击“全部配置”，选择“TagSync > 系统”。将“GC_OPTS”参数中“-XX:
默认情况下，系统会将container日志收集到HDFS中。如果您不需要将container日志收集到HDFS中，可以配置参数见表3。具体配置操作请参考修改集群服务配置参数。 表3 参数说明 配置参数 说明 默认值 yarn.log-aggregation-enable 设置是否将container日志收集到HDFS中。
conf”文件中配置以下参数。 在spark-sql模式下配置：登录Spark客户端节点，在“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”文件中配置表5相关参数。 表5 spark-sql模式下的配置参数 参数 配置值 描述 spark
配置Flume通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，Flume即可运行OBS作业。 本章节适用于MRS 3.x及之后的版本。 Flume对接OBS 创建用于存放数据的OBS文件夹。 登录OBS控制台。 单击“并行文件系统”进入并行文件系统页面。
conf”文件中配置以下参数。 在spark-sql模式下配置：登录Spark客户端节点，在“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”文件中配置表5相关参数。 表5 spark-sql模式下的配置参数 参数 配置值 描述 spark
存储配置 参数 描述 默认值 hoodie.parquet.max.file.size Hudi写阶段生成的parquet文件的目标大小。对于DFS，这需要与基础文件系统块大小保持一致，以实现最佳性能。 120 * 1024 * 1024 byte hoodie.parquet.block
通道，配置参数如表4所示。 表4 ftp-connector或sftp-connector配置 参数 说明 名称 指定一个Loader连接的名称。 主机名或IP 输入文件服务器的访问地址，可以是服务器的主机名或者IP地址。 端口 访问文件服务器的端口。 FTP协议请使用端口“21”。
快速配置Spark参数 概述 本节介绍Spark2x使用过程中快速配置常用参数和不建议修改的配置参数。 快速配置常用参数 其他参数在安装集群时已进行了适配，以下参数需要根据使用场景进行调整。以下参数除特别指出外，一般在Spark2x客户端的“spark-defaults.conf”文件中配置。
查看Flume使用的非堆内存是否已达到Flume设定的阈值（默认值为最大非堆内存的80%）。 是，执行4。 否，执行6。 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Flume > 配置”，选择“全部配置”，选择“Flume > 系统”。将“GC_OPTS”参数中“-XX:
rSync设定的阈值（默认值为最大非堆内存的80%）。 是，执行4。 否，执行6。 在FusionInsight Manager首页，选择“集群 > 服务 > Ranger > 实例 > UserSync > 实例配置”，单击“全部配置”，选择“UserSync > 系统”。将“GC_OPTS”参数中“-XX:
查看Loader使用的非堆内存是否已达到Loader设定的阈值（默认值为最大非堆内存的80%）。 是，执行4。 否，执行6。 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务> Loader > 配置”，选择“全部配置”，在搜索栏里搜索“LOADER_GC_OPTS”参数。如果之前没有显示指定“-XX:
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
