检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果集群未启用Kerberos认证(普通模式)请跳过该操作) 检查Share Lib,包括客户端和服务端两种方式。Spark Share Lib仅支持客户端检查。 客户端方式: 检查Oozie核心Share Lib,且执行检查的Oozie客户端所在节点必须安装了一个oozie实例。 oozie
SQL防御”,打开SQL防御页面。 参考添加MRS SQL防御规则添加针对ClickHouse的SQL防御规则。 ClickHouse SQL引擎支持的各类型SQL防御规则可参考MRS SQL防御规则。 例如添加一条规则ID为“static_0008”,SQL语句执行ClickHouse
如何在Flume配置文件中使用环境变量 本章节描述如何在配置文件“properties.properties”中使用环境变量。 本章节适用于MRS 3.x及之后版本。 安装Flume客户端。 以root用户登录安装Flume客户端所在节点。 切换到以下目录。 cd Flume客户
IAM同步 功能介绍 将IAM用户和用户组同步到manager,指定用户的情况下,会将该用户关联的IAM用户组也同步到manager。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/iam-sync-user
更改NodeManager的存储目录 操作场景 Yarn NodeManager定义的存储目录不正确或Yarn的存储规划变化时,MRS集群管理员需要在Manager中修改NodeManager的存储目录,以保证Yarn正常工作。NodeManager的存储目录包含本地存放目录“yarn
it”配置过小,导致可使用的核不足1个时,例如4核节点,将此参数设置为20%,不足1个核,那么将会使用系统全部的核。Linux的一些版本不支持Quota模式,例如Cent OS。在这种情况下,可以使用CPUset模式。 配置cpuset模式,即YARN只能使用配置的CPU,需要添加以下配置。
待创建的MRS集群名称。 集群类型 自定义 根据业务实际需要选择待创建的MRS集群类型。“自定义”类型集群提供丰富的组件搭配,可自行选择对应版本MRS集群所支持的所有组件。 版本类型 LTS版 待创建的MRS集群版本类型。 集群版本 MRS 3.2.0-LTS.1 待创建的MRS集群版本,不同版本
ALM-27001 DBService服务不可用 告警解释 告警模块按30秒周期检测DBService服务状态。当DBService服务不可用时产生该告警。 DBService服务恢复时,告警清除。 告警属性 告警ID 告警级别 是否自动清除 27001 紧急 是 告警参数 参数名称
每个服务有各自对应的角色实例。 元数据(Metadata) 元数据又称中介数据、中继数据,为描述数据的数据,主要是描述数据属性的信息,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。
JDBCServer长时间运行导致磁盘空间不足 用户问题 连接Spark的JDBCServer服务提交spark-sql任务到yarn集群上,在运行一段时间以后会出现Core节点的数据盘被占满的情况。 问题现象 客户连接Spark的JDBCServer服务提交spark-sql任
调测Kafka Producer样例程序 前提条件 如需在Windows调测程序,需要配置Windows通过EIP访问集群Kafka,详情请参见配置Windows通过EIP访问安全模式集群Kafka。 如需在Linux调测程序,需要确保当前用户对“src/main/resourc
Flink对接应用运维管理(AOM) 本章节适用于MRS 3.5.0及之后的版本。 Flink对接AOM服务场景介绍 应用运维管理(AOM)服务是一个可观测平台,基于指标、链路、日志、事件全景数据监控,提供一体化监控能力。Flink可以通过AOM服务的Prometheus实例将监
ervices_Client.tar Core节点的IP地址:/opt/client 使用“root”登录Core节点。 Master节点支持Cloud-Init特性,Cloud-init预配置的用户名“root”,密码为创建集群时设置的密码。 执行以下命令,安装客户端: cd /opt/client
在选择迁移节点界面,填写“迁入节点主机名”、“迁出节点主机名”,单击“下一步”。 “迁入节点主机名”与“迁出节点主机名”只能各填写一个主机名,不支持多节点迁移。 具体的参数值可以在ClickHouse服务界面单击“实例”页签,查看当前ClickHouseServer实例所在“主机名称”列获取。
ALM-12054 证书文件失效(2.x及以前版本) 告警解释 系统在每天二十三点检查当前系统中的证书文件是否失效(即当前集群中的证书文件是否过期,或者尚未生效)。如果证书文件失效,产生该告警。 当重新导入一个正常证书,并且状态不为失效状态,该告警恢复。 告警属性 告警ID 告警级别
Hive客户端使用实践 操作场景 该任务指导用户在运维场景或业务场景中使用Hive客户端。 前提条件 已安装客户端,例如安装目录为“/opt/hadoopclient”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全
ALM-12055 证书文件即将过期(2.x及以前版本) 告警解释 系统每天二十三点检查一次当前系统中的证书文件,如果当前时间距离过期时间不足告警阈值天数,则证书文件即将过期,产生该告警。 当重新导入一个正常证书,并且状态不为即将过期,该告警恢复。 告警属性 告警ID 告警级别 可自动清除
开发和部署HetuEngine Function Plugin 用户可以自定义一些函数,用于扩展SQL以满足个性化的需求,这类函数称为UDF。 本章节主要介绍开发和应用HetuEngine Function Plugin的具体步骤。 MRS 3.2.1及以后版本,需要基于JDK17
在选择迁移节点界面,填写“迁入节点主机名”、“迁出节点主机名”,单击“下一步”。 “迁入节点主机名”与“迁出节点主机名”只能各填写一个主机名,不支持多节点迁移。 具体的参数值可以在ClickHouse服务界面单击“实例”页签,查看当前ClickHouseServer实例所在“主机名称”列获取。
取模转换:对已有字段取模,生成新字段。 剪切字符串:通过指定起始位置,截取已有字符串类型的字段,生成新字段。 EL操作转换:指定算法,对字段值进行运算,目前支持的算法有:md5sum、sha1sum、sha256sum和sha512sum等。 字符串大小写转换:对已有的字符串类型字段,切换大小写,生成新字段。