检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
最大内存的95%)时产生该告警。 堆内存使用率小于阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 18018 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。
值”所在行的下拉菜单,在定位信息中确认告警上报的主机名所在的节点IP地址。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper > 实例”,单击对应IP地址的“角色”列的“quorumpeer”。单击图表区域右上角的下拉菜单,选择“定制
实例”,选择上报告警实例主机名对应的角色,单击图表区域右上角的下拉菜单,选择“定制 > CPU和内存 > TokenServer直接内存使用率”,单击“确定”。 图1 TokenServer直接内存使用率 查看TokenServer使用的直接内存是否已达到TokenServer设定的阈值(默认值为最大直接内存的80%)。
TokenServer非堆内存使用率超过阈值”,检查该告警的“定位信息”,查看告警上报的实例主机名。 在FusionInsight Manager首页,选择“集群 > 服务 > Guardian > 实例”,选择上报告警实例主机名对应的角色,单击图表区域右上角的下拉菜单,选择“定制 > CPU和内存
“文件浏览器”的“主页”默认进入当前登录用户的主目录。界面将显示目录中的子目录或文件的以下信息: 表1 HDFS文件属性介绍 属性名 描述 名称 表示目录或文件的名称。 大小 表示文件的大小。 用户 表示目录或文件的属主。 组 表示目录或文件的属组。 权限 表示目录或文件的权限设置。
Bucket,需按照已有的数据量来进行分区分桶,能更好的提升导入及查询性能。Auto Bucket会造成Tablet数量过多,最终导致有大量的小文件。 创建表时的副本数必须至少为2,默认是3,禁止使用单副本。 没有聚合函数列的表不应该被创建为AGGREGATE表。 创建主键表时需保持主键的列唯一,不建议将所有列
在筛选条件中选择“资源ID”,分别输入3查询到的系统盘和数据盘的ID,单击图标即可搜索系统盘或数据盘的费用。 在筛选条件中选择“资源ID”,输入4查询到的弹性云服务器的ID,单击图标即可搜索集群节点的费用。 场景示例:核对资源用量是否与实际相符 假设用户在2023/07/24 14:38:04购买了按需计费的MRS普通版集群,并在2023/07/24
shoppingTime: 320 name: CaiXuyu sexy: female shoppingTime: 300 执行如图1所示。 图1 显示图 父主题: Flink DataStream样例程序
短时间的过期时间,而另一个表数据变化较慢,需要较长时间的过期时间。目前Flink只有表级别的TTL(Time To Live:生存时间),为了保证Join的准确性,需要将表级别的TTL设置为较长时间的过期时间,此时状态后端中保存了大量的已经过期的数据,给状态后端造成了较大的压力。
告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Yarn NodeManager非堆内存
Doris默认租户“normal”的内存占比是90%,并发数是“10000”。 图1 Doris租户模型 用户与租户关联后,该用户提交的query任务就与Workload Group相关联,可以限制单个查询在BE节点上的CPU和内存资源的百分比,和配置资源组的内存软隔离。 开启内存软隔离
本章节指导用户通过租户资源绑定新增的Task节点,并提交Spark任务到新增的Task节点。 方案架构 租户是MRS大数据平台的核心概念,使传统的以用户为核心的大数据平台向以多租户为核心的大数据平台转变,更好的适应现代企业多租户应用环境,如图1所示。 图1 以用户为核心的平台和以多租户为核心的平台 对于
shoppingTime: 320 name: CaiXuyu sexy: female shoppingTime: 300 执行如图1所示。 图1 显示图 父主题: Flink DataStream样例程序
shoppingTime: 320 name: CaiXuyu sexy: female shoppingTime: 300 执行如图1所示。 图1 显示图 父主题: Flink DataStream样例程序
shoppingTime: 320 name: CaiXuyu sexy: female shoppingTime: 300 执行如图1所示。 图1 显示图 父主题: Flink DataStream样例程序
最小资源:保证租户能获得的资源(有抢占支持)。取值可以是父租户资源的百分比或绝对值。当租户作业量比较少时,资源会自动借给其他租户,当租户能使用的资源不满足最小资源时,可以通过抢占来要回之前借出的资源。 最大资源:租户最多能使用的资源,租户不能得到比最大资源设定更多的资源。取值可以是父租户资源的百分比或绝对值。
HDFS文件数超过阈值。 处理步骤 检查系统中的文件数量。 在FusionInsight Manager首页,查看当前的HDFS文件数。HDFS文件数可以通单击“集群 > 待操作集群的名称 > 服务 > HDFS”,单击图表区域右上角的下拉菜单,选择“定制 > 文件和块”,勾选“HDFS文件”和“HDFS块数”监控项查看。
用户”。 若在系统中添加新的用户,请单击“添加用户”,打开添加用户的配置页面。 图1 添加用户 若为系统中已有的用户绑定租户权限,请单击该用户所在行的“修改”,打开修改用户的配置页面。 参见表1为用户配置属性。 表1 用户参数一览 参数名 描述 用户名 指定当前的用户名,长度为3~32
连接类型的“认证类型”为“KERBEROS”需创建集群连接,“认证类型”为“SIMPLE”不需创建集群连接。 “数据连接类型”为“Kafka”时,认证类型不支持“KERBEROS”。 可视化开发平台:支持自定义输入/输出映射表,满足不同输入来源、不同输出目标端的需求。 图形化作业管理:简单易用。
使用量终止查询。具有较高内存使用量的查询将首先被终止,以便在查询终止次数最少的情况下,释放更多内存。当两个查询的内存使用量都在限制的10%以内,则进度慢(执行的百分比)的查询被终止,同时两个查询在完成百分比方面的差异在5%以内,则内存使用量大的查询被终止。 确定配置完成后是否立即启动实例: