检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Doris对接Hudi数据源 在MRS集群元数据存储在Hive MetaStore的场景中,Doris 2.0.13版本支持通过Catalog的方式对接Hudi 0.15.0版本数据源,支持对接Hudi所有的数据字段类型。 Doris支持查询的Hudi表类型 Doris支持的Hudi表类型和对应的查询类型如下:
配置Hive Python样例工程 操作场景 为了运行MRS产品Hive组件的Python接口样例代码,需要完成下面的操作。 MRS 3.1.2及之后版本默认仅支持Python3。 该样例仅支持在Linux节点上运行。 操作步骤 客户端机器必须安装有Python,其版本不低于2.6
支持人员将具有临时权限操作您的集群Manager界面。 授权操作:选择“高级授权”的授权类型时配置该参数。可以授权集群Manager上集群、服务、实例、主机、命令等各项操作权限。 配置完成后,勾选确认信息,并单击“确定”,并进行二次确认。 可以在页面右上角单击“运维”,选择“集群界面授权
其他Kafka配置,可以接受任意Kafka支持的生产配置,配置需要加前缀 .kafka。 Thrift Sink Thrift Sink把events转化为Thrift events并发送到配置的主机的监测端口。常用配置如下表所示: 表20 Thrift Sink常用配置 参数 默认值
利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限 。 Ranger架构如图1所示 图1 Ranger结构 表1 结构图说明 名称 描述 RangerAdmin Ranger的管理角色,拥有策略管理、用户管理、审计管理等功能,提供WebUI和RestFul接口。
场景下的操作。 安全模式支持配置Hive表、列或数据库的权限,普通模式不支持配置Hive表、列或数据库的权限。 如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策略进行权限管理,具体操作可参考添加Hive的Ranger访问权限策略。 前提条件 获取一个拥有管理员权限的用户,例如“admin”。
权,如图1所示。 已启用Ranger授权的组件(HDFS与Yarn除外),Manager上非系统默认角色的权限将无法生效,需要通过配置Ranger策略为用户组赋权。 图1 启用Ranger鉴权 滚动重启服务或者重启服务。 父主题: 使用Ranger(MRS 3.x)
权,如图1所示。 已启用Ranger授权的组件(HDFS与Yarn除外),Manager上非系统默认角色的权限将无法生效,需要通过配置Ranger策略为用户组赋权。 图1 启用Ranger鉴权 滚动重启服务或者重启服务。 父主题: 使用Ranger
如何配置MRS集群knox内存? 以root用户登录集群Master节点。 在Master节点执行如下命令打开gateway.sh文件。 su omm vim /opt/knox/bin/gateway.sh 将“APP_MEM_OPTS=""” 修改为 “APP_MEM_OPTS="-Xms256m
SDK”为“SDKs”中添加的JDK。 图6 修改“Module SDK” 单击“Apply”,单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,在IntelliJ IDEA选择“File > Settings
单击“保存”,在弹窗页面中单击“确定”,保存配置。单击“实例”,勾选ClickHouseServer实例,选择“更多 > 滚动重启实例”,重启ClickHouseServer实例。 参考Kafka客户端使用实践,登录到Kafka客户端安装目录。 以Kafka客户端安装用户,登录Kafka安装客户端的节点。 执行以下命令,切换到客户端安装目录。
查看与配置MRS告警事件 查看MRS集群事件 查看MRS集群告警 配置MRS集群告警阈值 配置MRS集群告警屏蔽状态 配置MRS集群对接SNMP网管平台上报告警 配置MRS集群对接Syslog服务器上报告警 配置定时备份告警与审计信息 开启MRS集群维护模式停止上报告警 配置MRS集群告警事件消息通知
不可与最近N次使用过的密码相同,N为密码策略配置中“重复使用规则”的值。 单击“确定”完成密码修改,使用新密码重新登录Manager页面。 通过集群节点修改admin用户密码(MRS 2.x及之后版本): 更新主管理节点客户端,具体请参考服务端配置过期后更新MRS集群客户端。 登录主管理节点。
2及之后版本的集群上的所有Master节点执行步骤1~2。 再参考配置跨集群互信配置。 检查互信是否成功。 成功,则配置结束。 失败,请刷新客户端配置后再检查互信是否成功,若依然不成功请联系运维人员处理。 若已经配置互信场景: 登录MRS 1.8.2及之后版本的集群上的Master节点。
SDK”为“SDKs”中添加的JDK。 单击“Apply”,单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,在IntelliJ IDEA选择“File > Settings
作系统选取其中一个版本安装即可,使用uname -p命令确认当前操作系统架构。 MRS 3.2.0及之后版本,使用对应的easy_install命令,安装dependency_python3.x文件夹下的egg文件,egg文件存在依赖关系,可使用通配符安装,如: “dependency_python3
xml spark.proxyserver.hash.enabled=true 配置描述 登录Manager,选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索并修改以下参数。 表1 参数说明 参数 说明 默认值 spark.thriftserver
Hive数据存储及加密配置 使用HDFS Colocation存储Hive表 配置Hive分区元数据冷热存储 Hive支持ZSTD压缩格式 使用ZSTD_JNI压缩算法压缩Hive ORC表 配置Hive列加密功能 父主题: 使用Hive
使用vim命令打开hacom_local.xml,查看local、peer节点配置是否正确,local配置主节点,peer配置备节点。 是,执行12。 否,执行10。 修改hacom_local.xml中主备节点的配置,修改完成后,按Esc回到命令模式,输入命令:wq保存退出。 查看此告警信息是否自动清除。
Loader连接配置说明 本章节适用于MRS 3.x之前版本。 基本介绍 Loader支持以下多种连接,每种连接的配置介绍可根据本章节内容了解。 obs-connector generic-jdbc-connector ftp-connector或sftp-connector h