检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 数据目录名称 Kafka磁盘IO频繁的数据目录名称 对系统的影响 Partition所在的磁盘分区IO过于繁忙,产生告警的Kafka Topic上可能无法写入数据。
CarbonData是一种新型的Apache Hadoop本地文件格式,使用先进的列式存储、索引、压缩和编码技术,以提高计算效率,有助于加速超过PB数量级的数据查询,可用于更快的交互查询。同时,CarbonData也是一种将数据源与Spark集成的高性能分析引擎。 图1 CarbonData基本架构
重要(默认级别) 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称 服务名 产生告警的服务名称 角色名 产生告警的角色名称 主机名 产生告警的主机名 对系统的影响 ClickHouse在ZooKeeper的容量配额超过阈值后,无法通过FusionInsight Manag
非-1的值才会生效。 对于开启了跨资源池调度的队列,在作业运行过程中不能删除已有资源池,否则可能会导致运行中的作业申请不到资源而持续阻塞。同样如果在作业运行过程中为队列配置新的资源池,那么此时已经处于运行状态的队列可能不能立即使用到新资源池的资源,新增的资源仅对修改后提交的作业有效。
编辑已有作业或者新建作业,进入“转换”界面。 双击指定的输入算子(例如CSV文件输入)进入编辑页面,在输入字段的参数表格添加相应配置信息。 双击指定的输出算子(例如文件输出)进入编辑页面,单击“关联”,并在弹出的“关联”对话框中勾选需要的字段信息。 在输出算子的字段表格里面已存在名称的字段信息,不会在“关联”窗口显示。
DataNode堆内存使用率小于或等于阈值的90%时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 14008 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition
理员可将各组件的资源切分为多个安全区,由对应Ranger管理员用户为区域的指定资源设置安全策略,以便更好的细分资源管理。安全区中定义的策略仅适用于区域中的资源,服务的资源被划分到安全区后,非安全区针对该资源的访问权限策略将不再生效。安全区的管理员只能在其作为管理员的安全区中设置策略。
95%请求的最大时延 INFO 99thPercentileLatency(ms) 99%请求的最大时延 INFO 99.9PercentileLatency(ms) 99.9%请求的最大时延 INFO 99.99PercentileLatency(ms) 99.99%请求的最大时延
CDL”,单击“CDLService UI”右侧的超链接进入CDLService WebUI界面,在数据同步任务作业列表界面选择需进行DDL变更作业所在行的“更多 > 停止”,停止CDL作业。 使用客户端安装用户登录安装了客户端的节点,并执行以下命令: cd 客户端安装目录 source
产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 Threshold 产生告警的阈值。 对系统的影响 RegionServer RPC处理时间的P99超过阈值,会影响RegionServer对外提供服务的能力。对
在“名称”填写一个作业的名称。 在“源连接”和“目的连接”选择对应的连接。 选择某个类型的连接,表示从指定的源获取数据,并保存到目的位置。 如果没有需要的连接,可单击“添加新连接”。 在“自”填写源连接的作业配置。 具体请参见Loader作业源连接配置说明。 在“至”填写目的连接的作业配置。
Flume配置工具示例 双击对应的source、channel以及sink,根据实际环境并参考表1设置对应的配置参数。 如果对应的Flume角色之前已经配置过服务端参数,为保证与之前的配置保持一致,在FusionInsight Manager界面选择“集群 > 待操作集群的名称 > 服务 > Flume
Java样例代码 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.spark.examples.SparkHivetoHbase。
成集群的扩缩容,避免出现增加或减少资源的延后。 弹性伸缩规则与资源计划均可触发弹性伸缩,两者既可同时配置也可单独配置。资源计划与基于负载的弹性伸缩规则叠加使用可以使得集群节点的弹性更好,足以应对偶尔超出预期的数据峰值出现。 当某些业务场景要求在集群扩缩容之后,根据节点数量的变化对
8192的整数倍,根据CPU内存资源大小调整 cleanup_delay_period 适当小于默认值 30 修改parts_to_throw_insert值 增大Too many parts的触发阈值,除非特殊场景,不建议修改此配置。此配置在一定程度起到潜在问题预警的作用,如果
8192的整数倍,根据CPU内存资源大小调整 cleanup_delay_period 适当小于默认值 30 修改parts_to_throw_insert值 增大Too many parts的触发阈值,除非特殊场景,不建议修改此配置。此配置在一定程度起到潜在问题预警的作用,如果
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Unhealthy Host 不健康节点的主机列表。 对系统的影响 故障的NodeManager节点无法提供Yarn服务。 容器减少,集群性能下降。 可能原因 NodeManager节点所在主机的硬盘空间不足。
点。 切换到以下目录。 cd Flume客户端安装目录/fusioninsight-flume-Flume组件版本号/conf 在该目录下的“flume-env.sh”文件中添加环境变量。 格式: export 变量名=变量值 示例: JAVA_OPTS="-Xms2G -Xmx4G
success to delete path /user/hdfs-examples 查看HDFS日志获取应用运行情况 您可以查看HDFS的namenode日志了解应用运行情况,并根据日志信息调整应用程序。 父主题: 调测HDFS应用
理员可将各组件的资源切分为多个安全区,由对应Ranger管理员用户为区域的指定资源设置安全策略,以便更好的细分资源管理。安全区中定义的策略仅适用于区域中的资源,服务的资源被划分到安全区后,非安全区针对该资源的访问权限策略将不再生效。安全区的管理员只能在其作为管理员的安全区中设置策略。