检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark常用配置参数 概述 本节介绍Spark使用过程中的常用配置项。以特性为基础划分子章节，以便用户快速搜索到相应的配置项。如果用户使用MRS集群，本节介绍的参数大部分已经适配好，用户无需再进行配置。少数需要用户根据实际场景配置的参数，请参见快速配置Spark参数。 配置Stage失败重试次数
配置HDFS通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在HDFS客户端查看和创建OBS文件目录。 HDFS对接OBS 以客户端安装用户登录安装了HDFS客户端的节点。 执行以下命令，切换到客户端安装目录。 cd 客户端安装目录
配置Hudi通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env
配置Presto通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，Presto即可通过presto_cli.sh客户端创建表存储在OBS中。 Presto对接OBS 未开启Kerberos认证的集群 使用客户端安装用户，登录已安装客户端的节点。
同步Hive表配置 参数 描述 默认值 hoodie.datasource.hive_sync.enable 是否同步hudi表信息到hive metastore。 注意： 建议该值设置为true，统一使用hive管理hudi表。 false hoodie.datasource.hive_sync
index相关配置 参数 描述 默认值 hoodie.index.class 用户自定义索引的全路径名，索引类必须为HoodieIndex的子类，当指定该配置时，其会优先于hoodie.index.type配置。 "" hoodie.index.type 使用的索引类型，默认为布隆过滤器。可能的选项是[BLOOM
不同类型数据库定义的定界符不完全相同。 文件服务器连接 文件服务器连接包含FTP连接和SFTP连接，是Loader与文件服务器进行数据交换的通道，配置参数如表4所示。 表4 ftp-connector或sftp-connector配置 参数 说明 名称 指定一个Loader连接的名称。
配置Flink通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后，即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source
用户加密 配置跨Manager互信，当前Kerberos服务端仅支持并使用“aes256-cts-hmac-sha1-96:normal”和“aes128-cts-hmac-sha1-96:normal”加密类型加密跨域使用的用户，不支持修改。 用户认证 配置跨Manager
应较慢。 原因分析 客户配置了DNS服务，由于客户端连接到HBase先通过DNS来解析服务器端，所以导致响应慢。 处理步骤 以root用户登录Master节点。 执行vi /etc/resolv.conf，打开resolv.conf文件，注释掉DNS服务器地址。 例如，#1.1.1
配置MemArtsCC常用参数 参数入口 请参考修改集群服务配置参数进入MemArtsCC服务配置页面。 参数说明 表1 MemArtsCC参数说明 参数 参数说明 默认值 access_token_enable Aceess token认证的开关。 开启后，SDK通过worke
> 服务配置”。 将“基础配置”切换为“全部配置”。 搜索并配置如下参数。 “fs.obs.access.key”配置为获取AK/SK和Endpoint信息准备的AK。 “fs.obs.secret.key”配置为获取AK/SK和Endpoint信息准备的SK。 保存配置并重启Hive服务。
行的container进度。 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。 ResourceManager Restart特性配置如下。 表1 ResourceManager Restart参数配置 参数 描述 默认值 yarn
conf”文件中配置以下参数。 在spark-sql模式下配置：登录Spark客户端节点，在“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”文件中配置表5相关参数。 表5 spark-sql模式下的配置参数 参数 配置值 描述 spark
Tez常用配置参数 参数入口 在Manager系统中，选择“集群 > 服务 > Tez > 配置”，选择“全部配置”。在搜索框中输入参数名称。 本章节适用于MRS 3.x及后续版本。 参数说明 表1 参数说明 配置参数 说明 缺省值 property.tez.log.dir Tez日志目录。
本章节配置新用户的回收站目录清理策略。 针对HBase配置存算分离的场景，在MRS 3.1.2及后续版本中，需参考本章节配置组件数据回收站清理策略。 需为MRS集群预置用户所涉及的回收站目录和其他新增的有防误删需求的用户的回收站目录配置生命周期策略。若委托权限较小或参考配置MRS
Tez常用配置参数 参数入口 在Manager系统中，选择“集群 > 服务 > Tez > 配置”，选择“全部配置”。 在搜索框中输入参数名称。 参数说明 表1 参数说明 配置参数 说明 缺省值 property.tez.log.dir Tez日志目录。 /var/log/Bigdata/tez/tezui
WebUI界面连接数据库。 创建Resource。 使用配置委托方式创建Resource 登录FusionInsight Manager界面，选择“集群 > 服务 > Doris > 配置 > 全部配置 > FE（角色） > OBS”，配置以下参数并单击“保存”保存配置： obs_authenticat
conf”文件中配置以下参数。 在spark-sql模式下配置：登录Spark客户端节点，在“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”文件中配置表5相关参数。 表5 spark-sql模式下的配置参数 参数 配置值 描述 spark
Hudi常见配置参数 本章节介绍Hudi重要配置的详细信息，更多配置请参考Hudi官网http://hudi.apache.org/cn/docs/configurations.html。 写入操作配置 表1 写入操作重要配置项 参数 描述 默认值 hoodie.datasource
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
