检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
8192的整数倍,根据CPU内存资源大小调整 cleanup_delay_period 适当小于默认值 30 修改parts_to_throw_insert值 增大Too many parts的触发阈值,除非特殊场景,不建议修改此配置。此配置在一定程度起到潜在问题预警的作用,如果
参数解释: 程序执行的关键参数。 约束限制: 该参数由用户程序内的函数指定,MRS只负责参数的传入。 取值范围: 最多为150000字符,不能包含;|&>'<$!"\特殊字符,可为空。 说明: 用户输入带有敏感信息(如登录密码)的参数时,可通过在参数名前添加“@”的方式,为该参数值加
际数据连接的类型为xxx! RDS实例虚拟私有云的ID xxx与集群的虚拟私有云ID xxx不一致! RDS实例子网的ID xxx与集群的子网ID xxx不一致! RDS实例的安全组ID xxx与集群的安全组ID xxx不一致! 集群已经存在相同位置的数据连接,xxx! 数据连接已经被其他集群使用(xxx)
如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问FusionInsight
标合并在一个作业计算。当一个作业是相同主键、相同的输入和输出时,该作业支持多个窗口的计算。 支持AVG、SUM、COUNT、MAX和MIN统计方法。 Flink SQL可视化定义 集群连接管理,配置Kafka、HDFS等服务所属的集群信息。 数据连接管理,配置Kafka、HDFS等服务信息。
告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 IndexServer2x进程非堆内存使
产生告警的集群名称。 服务名 产生告警的服务名称。 应用名 产生告警的应用名称。 角色名 产生告警的角色名称。 任务名 产生告警的作业名称。 对系统的影响 Flink作业RocksDB的Pending Flush持续超过阈值,主要反应的是Flink作业的CheckPoint的性能,对FlinkServer本身没有影响。
来源 产生告警的集群名称。 服务名 产生告警的服务名称。 应用名 产生告警的应用名称。 角色名 产生告警的角色名称。 任务名 产生告警的作业名称。 对系统的影响 Flink作业RocksDB的Pending Compaction持续超过阈值,主要反应的是Flink作业的CheckP
DataNode堆内存使用率小于或等于阈值的90%时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 14008 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition
产生告警的服务名称。 角色名 产生告警的角色名称。 应用名 产生告警的应用名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 任务执行超时后的运行时间内,该告警一直存在,但任务仍继续正常执行,没有任何影响。 可能原因 指定的超时时间少于所需执行时间。
标合并在一个作业计算。当一个作业是相同主键、相同的输入和输出时,该作业支持多个窗口的计算。 支持AVG、SUM、COUNT、MAX和MIN统计方法。 Flink SQL可视化定义 集群连接管理,配置Kafka、HDFS等服务所属的集群信息。 数据连接管理,配置Kafka、HDFS等服务信息。
编辑已有作业或者新建作业,进入“转换”界面。 双击指定的输入算子(例如CSV文件输入)进入编辑页面,在输入字段的参数表格添加相应配置信息。 双击指定的输出算子(例如文件输出)进入编辑页面,单击“关联”,并在弹出的“关联”对话框中勾选需要的字段信息。 在输出算子的字段表格里面已存在名称的字段信息,不会在“关联”窗口显示。
作业参数配置完成后,拖拽图标将作业进行关联,然后单击“保存”,作业配置完成。 在“作业管理”的作业列表中,找到创建的作业名称,单击操作列的“启动”,等待作业启动。 观察数据传输是否生效,例如在Hudi中对表进行插入数据操作,查看ClickHouse导入的文件内容。 父主题: 创建CDL作业
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。本章节提供从零开始使用HBase的操作指导,通过客户端实现创建表,往表中插入数据,修改表,读取表数据,删除表中数据以及删除表的功能。 背景信息 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,使用HBase客户端实现A业务操作流程如下:
如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问集群Manager。
加载数据到CarbonData表 用户从HDFS中的CSV文件加载数据到所创建的表中。 在CarbonData中查询数据 在CarbonData表加载数据之后,用户可以执行所需的查询操作,例如groupby或者where等。 前提条件 已安装客户端,具体参见使用MRS客户端。 操作步骤 连接到Spark CarbonData。
导入配置文件时,建议配置Source/Channel/Sink的各自的个数都不要超过40个,否则可能导致界面响应时间过长。 表1 Flume角色服务端所需修改的参数列表 参数名称 参数值填写规则 参数样例 名称 不能为空,必须唯一 test spoolDir 待采集的文件所在的目录路径,此参数不能为空。该路径
入字段。 表输入:将关系型数据库表的指定列按顺序转换成同等数量的输入字段。 HBase输入:将HBase表的指定列转换成同等数量的输入字段。 HTML输入:将HTML文件中的元素转换成输入字段。 Hive输入:将Hive表的指定列转换成同等数量的输入字段。 转换 长整型时间转换:实现长整型数值与日期类型的互换。
tition)最新生产的消息的log end offset之间的差距(lag)过大(产生消息积压),且超过了用户配置的积压告警规则阈值时产生该告警。 当连续5次检测到log end offset之间的差距(lag)较小(不存在消息积压),且低于了用户配置的积压告警规则阈值时告警恢复。
> 下载”。 在“服务”中勾选待操作集群的Flink服务。 在“主机”中勾选对应角色所在的主机,单击“确定”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。