检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager将无法正常使用。 修改OMS服务配置 修改okerberos配置 登录FusionInsight Manager,选择“系统 > OMS”。 在okerberos所在行,单击“修改配置”。 根据表1所示的说明修改参数。 表1 okerberos参数配置一览表 参数名 说明 连接KDC最大时延(毫秒)
配置MRS租户 添加MRS租户 添加MRS子租户 为MRS集群用户绑定租户 添加MRS租户资源池 配置资源池的队列容量策略 配置MRS租户队列 父主题: 管理MRS集群租户
其他Kafka配置,可以接受任意Kafka支持的生产配置,配置需要加前缀 .kafka。 Thrift Sink Thrift Sink把events转化为Thrift events并发送到配置的主机的监测端口。常用配置如下表所示: 表14 Thrift Sink常用配置 参数 默认值
Hue常用配置参数 参数入口 参数入口,请参考修改集群服务配置参数进入Hue服务“全部配置”页面。 参数说明 Hue常用参数请参见表1。 表1 Hue常用参数 配置参数 说明 缺省值 范围 HANDLER_ACCESSLOG_LEVEL Hue的访问日志级别。 DEBUG ERROR
快速配置参数 概述 本节介绍Spark2x使用过程中快速配置常用参数和不建议修改的配置参数。 快速配置常用参数 其他参数在安装集群时已进行了适配,以下参数需要根据使用场景进行调整。以下参数除特别指出外,一般在Spark2x客户端的“spark-defaults.conf”文件中配置。
配置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 登录FusionInsight Manager页面,选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。 搜索并查看“dfs.storage.policy.ena
配置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 登录FusionInsight Manager页面,选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。 搜索并查看“dfs.storage.policy.ena
配置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 登录FusionInsight Manager页面,选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。 搜索并查看“dfs.storage.policy.ena
配置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 登录FusionInsight Manager页面,选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。 搜索并查看“dfs.storage.policy.ena
Impala常见配置参数 本章节适用于MRS 3.x及后续版本。 参数入口 在Manager系统中,选择“集群 > 服务 > Impala > 配置”,选择“全部配置”。在搜索框中输入参数名称。 参数说明 下表仅列举了部分常用参数,实际参数以Manager页面为准,参数详情请参见官网https://docs
配置MapReduce通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,MapReduce服务还需参考本章节新增自定义配置。 MapReduce对接OBS 登录MRS管理控制台,单击集群名称进入集群详情页面。 选择“组件管理 > Mapr
Hudi自定义配置项样例程序 HoodieDeltaStreamer 自定义排序器 父主题: 开发Spark应用
Flink常用配置参数 配置文件说明 Flink所有的配置参数都可以在客户端侧进行配置,建议用户直接修改客户端的“flink-conf.yaml”配置文件进行配置,如果通过Manager界面修改Flink服务参数,配置完成之后需要重新下载安装客户端: 配置文件路径:客户端安装路径/Fl
配置Flink通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source
r节点。 进入客户端安装目录,配置环境变量。 cd 客户端安装目录 source bigdata_env 如果集群采用安全版本,要执行以下命令进行安全认证: kinit hbase 按提示输入密码(向MRS集群管理员获取密码)。 执行以下命令查看目前负载均衡功能是否打开,结果显示
HDFS常用配置参数 参数入口 请参考修改集群服务配置参数进入HDFS服务配置页面。 参数说明 表1 HDFS参数说明 参数 参数说明 默认值 fs.obs.security.provider 指定获取访问OBS文件系统密钥的实现方式。 参数取值: com.huawei.mrs.
warehouse.dir配置 保存并重启Hive服务。 (可选)安装客户端,具体请参考安装MRS集群客户端。如果集群已安装客户端请执行4。 更新客户端配置文件。 执行以下命令修改客户端Hive配置文件目录下的“hivemetastore-site.xml”。 vim 客户端安装目录/Hive
conf”文件中配置以下参数。 在spark-sql模式下配置:登录Spark客户端节点,在“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”文件中配置表5相关参数。 表5 spark-sql模式下的配置参数 参数 配置值 描述 spark
Tez常用配置参数 参数入口 在Manager系统中,选择“集群 > 服务 > Tez > 配置”,选择“全部配置”。 在搜索框中输入参数名称。 参数说明 表1 参数说明 配置参数 说明 缺省值 property.tez.log.dir Tez日志目录。 /var/log/Bigdata/tez/tezui
重新执行1~7同步ResourceManager的配置并检查配置是否正常。 配置同步完成后Manager页面可能显示配置过期,该显示不影响业务,是由于组件没有加载最新的配置,待后续组件重启的时会自动加载。 父主题: 组件配置类