检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ter的默认Kafka集群,用户也可以在KafkaManager的WebUI界面自行添加已经通过MRS控制台创建的Kafka集群,用于管理多个Kafka集群。 登录KafkaManager的WebUI界面。 在页面上方选择“Cluster > Add Cluster” 。 图1 添加集群
Flume服务端进程故障 问题现象 Flume运行一段时间后,Manager界面Flume实例显示运行状态“故障”。 原因分析 Flume文件或文件夹权限异常,重启后Manager界面提示如下信息: [2019-02-26 13:38:02]RoleInstance prepare
keytab”和“krb5.conf”。 hbase-examples/hbase-example(多集群互信场景) 将互信场景下的同名用户其中一个集群的认证凭据及其配置文件放入“../src/main/resources/hadoopDomain”目录下,将另一集群的配置文件放入“.
更换过程中Manager需要重启,此时系统无法访问且无法提供服务。 前提条件 获取需要更换的HA根证书文件“root-ca.crt”和密钥文件“root-ca.pem”。 准备一个访问密钥文件的密码password,例如“Userpwd@123”用于访问密钥文件。 密码复杂度要求如下,如果密码复杂度不满足如下要求,可能存在安全风险:
ALM-12033 慢盘故障 告警解释 MRS 3.3.0及之后版本、MRS 3.1.0.0.10/3.1.5.0.3及之后补丁版本: 对于HDD盘,满足以下任意条件时触发告警: 系统默认每3秒采集一次数据,在30秒内至少7个采集周期的svctm时延达到1000ms。 系统默认每
集群运维 告警管理 MRS可以实时监控大数据集群,通过告警和事件可以识别系统健康状态。同时MRS也支持用户自定义配置监控与告警阈值用于关注各指标的健康情况,当监控数据达到告警阈值,系统将会触发一条告警信息。 MRS还可以与华为云消息通知服务(SMN)的消息服务系统对接,将告警信息
否,执行14。 备网卡判断方式:查看配置文件/proc/net/bonding/bond0,NetworkCardName参数对应的网卡名称等于其中一个Slave Interface,但是不等于Currently Active Slave(当前主网卡),则该网卡为备网卡。 检查阈值设置是否合理。
创建Task节点 特性简介 MRS集群支持创建Task节点,只作为计算节点,不存放持久化的数据,是实现弹性伸缩的基础。 客户价值 在MRS服务只作为计算资源的场景下,使用Task节点可以节省成本,并可以更加方便快捷地对集群节点进行扩缩容,满足用户对集群计算能力随时增减的需求。 用户场景
配置LDAP输出审计日志 用户可以通过设置LDAP服务的审计日志输出级别,将审计内容输出至系统日志信息中(如“/var/log/messages”),用于查看用户的活动信息及操作指令信息。 LDAP的审计日志开启后,会产生大量日志信息,严重影响集群性能,请谨慎开启。 该章节仅适用于MRS
Kafka:Source、Sink HDFS:Source、Sink - 数据连接 选择数据连接。 - Topic 读取的Kafka的topic,支持从多个Kakfa topic中读取,topic之间使用英文分隔符进行分隔。 “映射表类型”选择“Kafka”时存在此参数。 - 文件路径 要传输的HDFS目录或单个文件路径。
表输出 概述 “表输出”算子,用于配置输出的字段对应到关系型数据库的指定列。 输入与输出 输入:需要输出的字段 输出:关系型数据库表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出分隔符 配置分隔符。 说明: 该配置仅用于MySQL专用连接器,当数据列内容
Kafka:Source、Sink HDFS:Source、Sink - 数据连接 选择数据连接。 - Topic 读取的Kafka的topic,支持从多个Kakfa topic中读取,topic之间使用英文分隔符进行分隔。 “映射表类型”选择“Kafka”时存在此参数。 - 文件路径 要传输的HDFS目录或单个文件路径。
ALM-50220 TCP包接收错误的次数的比率超过阈值 告警解释 系统每30秒周期性检查TCP包接收错误的次数的比率,当检查到该值超出阈值(默认值为5%)时产生该告警。 当TCP包接收错误的次数的比率低于阈值时,告警清除。 告警属性 告警ID 告警级别 是否可自动清除 50220
HBase JVM参数优化说明 操作场景 当集群数据量达到一定规模后,JVM的默认配置将无法满足集群的业务需求,轻则集群变慢,重则集群服务不可用。所以需要根据实际的业务情况进行合理的JVM参数配置,提高集群性能。 操作步骤 参数入口: HBase角色相关的JVM参数需要配置在安装
are top level conjuncts are allowed (state=42000,code=40000) 不支持多查询结果当成多个字段输出。 举例如下: select c_count, count(*) as custdist from
are top level conjuncts are allowed (state=42000,code=40000) 不支持多查询结果当成多个字段输出。 举例如下: select c_count, count(*) as custdist from
表输出 概述 “表输出”算子,用于配置输出的字段对应到关系型数据库的指定列。 输入与输出 输入:需要输出的字段 输出:关系型数据库表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出分隔符 配置分隔符。 说明: 该配置仅用于MySQL专用连接器,当数据列内容
HBase JVM参数优化说明 操作场景 当集群数据量达到一定规模后,JVM的默认配置将无法满足集群的业务需求,轻则集群变慢,重则集群服务不可用。所以需要根据实际的业务情况进行合理的JVM参数配置,提高集群性能。 操作步骤 参数入口: HBase角色相关的JVM参数需要配置在安装
安全责任在于对使用的IaaS、PaaS和SaaS类各项云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮
实时OLAP场景介绍 传统数据集市场景实时数据和离线数据分离,集市层指标通过预聚合进行定制化开发,时效性低,复杂性高,灵活性差。 基于Doris的实时OLAP场景离线和实时数据归一,无需离线预加工,基于海量明细数据直接进行多维秒级聚合/关联查询分析,具备实时、高效、灵活的特点。