检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
as RCFile; HIVE使用OBS存储。 需要在beeline里面设置指定的参数,AK/SK可登录“OBS控制台”,进入“我的凭证”页面获取。 set fs.obs.access.key=AK; set fs.obs.secret.key=SK; set metaconf:fs
在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Flume > 实例”。 单击进入故障节点的Flume实例页面,查看指标“Sink速度指标”,检查其速度是否为0。 是,执行13。 否,执行步骤9。 检查Flume Sink配置的IP所在节点与故障节点的网络状态。
量限制。用户可以通过管理控制台查看所有MRS集群运行状态。 查看MRS集群运行状态 登录MRS管理控制台。 选择“现有集群”,进入集群列表页面。 集群列表默认按创建时间顺序排列,集群列表参数说明如表1所示。 现有集群:包括除了“失败”和“已删除”状态以外的所有集群。 历史集群:仅
log-bin=master binlog_format=row Maxwell需要连接MySQL,并创建一个名称为maxwell的数据库存储元数据,且需要能访问需要同步的数据库,所以建议新创建一个MySQL用户专门用来给Maxwell使用。使用root登录MySQL之后,执行如下命令创建maxwe
DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 请参考修改集群服务配置参数,进入Kafka的“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 保存配置,在弹出窗口中单击“确定”使配置生效。 日志格式 Kafka的日志格式如下所示
成同步过程,导致超时,各个ZooKeeper Server启动失败。 参考修改集群服务配置参数章节,进入ZooKeeper服务“全部配置”页面。不断尝试调大ZooKeeper配置文件“zoo.cfg”中的“syncLimit”和“initLimit”两参数值,直到ZooKeeperServer正常。
"version":1}。 观察一段时间,看告警是否消失。如果告警没有消失,执行5。 检查Topic的Partition规划设置。 在“KafkaTopic监控”页面单击每一个Topic的“Topic的字节流量 > Topic输入的字节流量”,统计出“Topic输入的字节流量”值最大的Topic。查看该
DEBUG debug表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 请参考修改集群服务配置参数,进入CDL的“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 保存配置,在弹出窗口中单击“确定”使配置生效。 配置完成后立即生效,不需要重启服务。
磁盘慢盘故障,导致业务性能下降,阻塞业务的处理能力,严重时可能会导致服务不可用。 可能原因 磁盘老化或者磁盘坏道。 处理步骤 检查磁盘状态。 打开MRS集群详情页面,在实时告警列表中,单击此告警。在“告警详情”区域,获取告警所在主机信息和故障磁盘信息。 确认上报告警的节点是否为虚拟化环境。 是,执行3。
设置告警阈值 等待2分钟,查看告警是否消失。 是,处理完毕。 否,执行4。 检查磁盘使用率是否达到上限 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机名称和磁盘分区信息。 以root用户登录告警所在节点,用户密码为安装前用户自定义,请咨询系统管理员。
行,以此来缓解高负载下系统的压力。 Doris租户角色和用户关联关系介绍 通过FusionInsight Manager服务配置和租户管理页面的操作,用户可以实现创建租户、关联服务、设置租户资源配置、租户关联用户等操作。Manager侧和Doris侧的角色和用户关联关系如下图所示:
Manager界面选择“集群 > 待操作集群的名称 > 服务 > Flume > 实例”,选择相应的Flume角色实例,单击“实例配置”页面“flume.config.file”参数后的“下载文件”,可获取已有的服务端参数配置文件。然后选择“集群 > 待操作集群的名称 > 服务
在FusionInsight Manager界面选择“ 服务 > Flume > 实例”,选择相应的Flume角色实例,单击“实例配置”页面“flume.config.file”参数后的“下载文件”,可获取已有的服务端参数配置文件。然后选择“ 服务 > Flume > 导入”,
Manager界面选择“集群 > 待操作集群的名称 > 服务 > Flume > 实例”,选择相应的Flume角色实例,单击“实例配置”页面“flume.config.file”参数后的“下载文件”,可获取已有的服务端参数配置文件。然后选择“集群 > 待操作集群的名称 > 服务
独占集群中的资源,MRS集群管理员可为之增加多重约束(比如单个应用程序同时运行的任务数等)。 安全保证。每个队列有严格的ACL列表规定它的访问用户,每个用户可指定哪些用户允许查看自己应用程序的运行状态或者控制应用程序。此外,MRS集群管理员可指定队列管理员和集群系统管理员。 动态
log-bin=master binlog_format=row Maxwell需要连接MySQL,并创建一个名称为maxwell的数据库存储元数据,且需要能访问需要同步的数据库,所以建议新创建一个MySQL用户专门用来给Maxwell使用。使用root登录MySQL之后,执行如下命令创建maxwe
Yarn > ResourceManager(主)”进入Web界面后查看任务执行状态。 图2 ResourceManager Web UI页面 查看MapReduce应用运行结果数据。 当用户在Linux环境下执行yarn jar mapreduce-example.jar命令后
Manager,选择“集群 > 服务 > Kafka”,查看当前Kafka状态,发现状态为良好,且监控指标内容显示正确。 在Kafka概览页面获取Controller节点信息。 登录Controller所在节点,通过cd /var/log/Bigdata/kafka/broker
本地(或位于HDFS上)的TsFile文件。 用户可以将TsFile文件写入到HDFS上,进而满足Hadoop、Flink等数据处理任务的访问。 对于写入到HDFS或者本地的TsFile文件,可以利用TsFile-Hadoop或TsFile-Flink连接器,允许Hadoop或Flink进行数据处理。
机节点上的副本可替代工作,保证服务能正常运行,提高集群的稳定性。 本章节仅适用于MRS 3.1.0版本。 集群配置 登录集群Manager页面,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”。 在“clickhouse-metrika-customize”参数中添加表1中自定义配置项。