检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
tasks 选填 读Hudi表task并行度,默认值为4。 4 read.streaming.enabled 必填 true:开启流式增量模式。 false:批量读。 根据实际填写,流读场景下为true read.streaming.start-commit 选填 指定 ‘yyyyMMddHHmmss’
其他配置参数详细信息,请参见购买弹性云服务器。 如果ECS的安全组和Master节点的“默认安全组”不同,用户可以选择以下任一种方法修改配置: 将ECS的安全组修改为Master节点的默认安全组,请参见更改安全组。 在集群Master节点和Core节点的安全组添加两条安全组规则使ECS可以访问
其他配置参数详细信息,请参见购买弹性云服务器。 如果ECS的安全组和Master节点的“默认安全组”不同,用户可以选择以下任一种方法修改配置: 将ECS的安全组修改为Master节点的默认安全组,请参见更改安全组。 在集群Master节点和Core节点的安全组添加两条安全组规则使ECS可以访问
本入门指导以如下业务场景为例,介绍弹性伸缩规则与资源计划均叠加使用的操作: 某项实时处理业务数据量在周一、周二和周六7:00~13:00出现规律性变化,但是数据量变化并非非常平稳。假设在周一、周二和周六7:00~13:00期间,需要Task节点的数量范围是5~8个,其他时间需要Task节点数量是2~4个。
否,执行9。 收集故障信息。 在主集群的FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选“OMS”,单击“确定”。 设置“主机”为告警所在节点和主OMS节点。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟,单击“下载”。
扩容前,新增加的IP需要配置为受信任的IP。 前提条件 根据安装规划,收集集群内全部节点的管理平面IP、业务平面IP和所有浮动IP。 获取集群内节点的root用户和密码。 配置受信任IP地址访问LDAP 配置OMS LDAP信任的IP地址 登录FusionInsight Manager。
每产生一个新的事务,zxid的低32位就会自动加1。当zxid达到最大值,即zxid的低32位达到0xffffffff,就会触发集群强制选主,从而短暂影响ClickHouse使用ZooKeeper。告警每两个小时检查一次,当zxid低32位超过设定阈值,则上报告警。 当系统检测到
批量迁移Loader作业 操作场景 Loader支持将作业批量从一个分组(源分组)迁移到另一个分组(目标分组)。 前提条件 源分组和目标分组均存在。 当前用户具备源分组和目标分组的编辑“Group Edit”权限。 当前用户具备源分组的作业编辑“Jobs Edit”权限或待迁移作业的编辑“Edit”权限。
否,执行9。 收集故障信息。 在主集群的FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选“OMS”,单击“确定”。 设置“主机”为告警所在节点和主OMS节点。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟,单击“下载”。
前提条件 MRS集群内主、备DBService节点的“$BIGDATA_HOME/FusionInsight_BASE_x.x.x/install/FusionInsight-dbservice-2.7.0/security”目录下的“root-ca.crt”和“root-ca.pem”相同。
从而导致Channel频繁被写满,进而影响性能表现。 Avro Source和Avro Sink一般都是成对出现,用于多个Flume Agent间进行数据中转,因此一般场景下Avro Source和Avro Sink都不会成为性能瓶颈。 模块间性能 根据模块间性能对比,可以看到对于前端是SpoolDir
行所产生的日志。 sendAlarm.log HBase告警检查脚本上报告警信息日志。 hbase-haCheck.log HMaster主备状态检测日志。 stop.log HBase服务进程启停操作日志。 审计日志 hbase-audit-<process_name>.log
管理Loader数据连接 操作场景 Loader页面支持创建、查看、编辑和删除连接。 创建连接 登录服务页面: 登录FusionInsight Manager,具体请参见访问集群Manager,选择“集群 > 服务”。 选择“Loader”,在“Loader WebUI”右侧,单击链接,打开Loader的WebUI。
管理Loader连接(MRS 3.x及之后版本) 操作场景 Loader页面支持创建、查看、编辑和删除连接。 本章节适用于MRS 3.x及之后版本。 创建连接 登录服务页面: MRS 3.x及后续版本,登录FusionInsight Manager,具体请参见访问FusionInsight
否,执行14。 收集故障信息。 在主集群的FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选“OMS”,单击“确定”。 设置“主机”为告警所在节点和主OMS节点。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟,单击“下载”。
装客户端。 已创建ClickHouse集群,并且ClickHouse集群和Kafka集群在同一VPC下,网络可以互通,并安装ClickHouse客户端。 约束限制 当前ClickHouse不支持和开启安全模式的Kafka集群进行对接。 Kafka引擎表使用语法说明 语法 CREATE
conf”文件中配置以下参数。 在spark-sql模式下配置:登录Spark客户端节点,在“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”文件中配置表5相关参数。 表5 spark-sql模式下的配置参数 参数 配置值 描述 spark.driver
行所产生的日志。 sendAlarm.log HBase告警检查脚本上报告警信息日志。 hbase-haCheck.log HMaster主备状态检测日志。 stop.log HBase服务进程启停操作日志。 审计日志 hbase-audit-<process_name>.log
装客户端。 已创建ClickHouse集群,并且ClickHouse集群和Kafka集群在同一VPC下,网络可以互通,并安装ClickHouse客户端。 约束限制 当前ClickHouse不支持和开启安全模式的Kafka集群进行对接。 Kafka引擎表使用语法说明 语法 CREATE
是,处理完毕。 否,执行10。 收集故障信息。 在主集群的FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”勾选待操作集群的“Yarn”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。