检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager 优化补丁机制 解决executor内存溢出问题 解决executor作业状态不一致问题 优化executor日志打印 MRS大数据组件 增加Hbase region处在RIT状态的时长超过阈值的告警 解决presto日志回滚问题 补丁兼容关系 无。 安装补丁的影响 安装MRS
condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS DataNode堆内存使用率过高,会影响到HDFS的数据读写性能。 可能原因 HDFS DataNode配置的堆内存不足。 处理步骤 清除无用文件。 以root用户登录HDFS客户端,用户密码为
输入字段名 配置可能出现空值的字段名,需填写已生成的字段名。 string 是 无 替换值 配置替换空值的指定值。 string 是 无 数据处理规则 字段原值为null时,替换成指定的值。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“空值转换”算子,如下图:
产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 HBase热点检测功能不可用。对于正常业务无影响,但是如果业务存在请求或者数据倾斜问题,无法提供主动感知上报告警以及自愈的能力,该业务的请求可能会导致该节点过载,出现请求响应慢,甚至超时问题。 可能原因 ZooKeeper服务异常。
的各节点主机信息。 在FusionInsight Manager首页,单击“主机”。 在“磁盘”列,检查ZooKeeper实例所在的各节点数据磁盘空间是否不足(使用率超过百分之80)。 是,执行21。 否,执行23。 参考ALM-12017 磁盘容量不足进行处理,对磁盘进行扩容。
Jar提交SQL作业程序 FlinkServer REST API程序 flink-dist_*.jar flink-table_*.jar 可在Flink的客户端或者服务端安装路径的lib目录下获取。 向Kafka生产并消费数据程序 kafka-clients-*.jar flink-connector-kafka_*
todb.io/docs/current/sql.html。 启用Kerberos认证的集群使用Presto查询Hive Catalog的数据时,运行Presto客户端的用户需要有Hive表的访问权限,并且需要在Hive beeline中执行命令grant all on table
匹配请求源,参见选择器属性的配置中--source选项的配置值。 queryType 可选 配置任务类型: DATA_DEFINITION:更改/创建/删除模式/表/视图的元数据的查询,以及管理预准备语句、权限、会话和事务的查询。 DELETE:DELETE查询。 DESCRIBE:DESCRIBE、DESCRIBE
主机隔离后该主机上的所有角色实例将被停止,且不能对主机及主机上的所有实例进行启动、停止和配置等操作。 主机隔离后无法统计并显示该主机硬件和主机上实例的监控状态及指标数据。 主机隔离后部分服务的实例不再工作,服务的配置状态可能过期。 待操作节点的SSH端口需保持默认(22),否则将导致本章节任务操作失败。 前提条件
近似值聚合函数 在实际情况下,对大量数据进行统计时,有时只关心一个近似值,而非具体值,比如统计某产品的销量,这种时候,近似值聚合函数就很有用,它使用较少的内存和CPU资源,以便可以获取数据结果而不会出现任何问题,例如溢出到磁盘或CPU峰值。这对于数十亿行数据运算的需求很有用。 approx_median(x)
condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS DataNode非堆内存使用率过高,会影响HDFS的数据读写性能。 可能原因 HDFS DataNode配置的非堆内存不足。 处理步骤 清除无用文件。 以root用户登录HDFS客户端,用户密码
Broker上分区分布不均衡示例 是,执行13。 否,执行11。 单击最右侧分区不均衡的条柱,查看是否包含5中获取的当前告警上报的节点,如果包含则需要执行数据均衡。 等待5分钟,查看告警是否自动清除。 是,操作结束。 否,执行13。 收集故障信息。 在FusionInsight Manager界面,选择“运维
配置字段长度。 map 是 无 类型 配置字段的类型,可选值为“VARCHAR”,“INTEGER”和“BIGINT”。 enum 是 VARCHAR 数据处理规则 生成指定类型的随机值。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“随机值转换”算子,生成C、D、E三个字段:
输入字段名 配置可能出现空值的字段名,需填写已生成的字段名。 string 是 无 替换值 配置替换空值的指定值。 string 是 无 数据处理规则 字段原值为null时,替换成指定的值。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“空值转换”算子,如下图:
Manager样例程序开发思路 通过典型场景,可以快速学习和掌握Manage REST API的开发过程,并且对关键的函数有所了解。 场景说明 假定用户需要以非界面方式实现操作FusionInsight Manager系统,要求开发基于HTTP Basic认证的应用程序实现如下功能:
安装setuptools Python3开发环境的基本配置,版本如47.3.1。 jaydebeapi Python3开发环境的基本配置,可以通过该模块使用Java的JDBC来连接数据库。 准备运行环境 进行应用开发时,需要同时准备代码的运行调测的环境,用于验证应用程序运行正常。
dropPartitionsInBatch.limit”控制,默认1000),会先于防御规则拦截。 熔断规则存在统计误差,例如规则running_0004,扫描数据量阈值配置10GB,但是因为判断周期和任务并发影响,可能在15GB甚至更高才进行熔断。 熔断规则存在边界效应,例如某个Job直到最后几个t
更换NTP服务器是高危操作,更换后集群时间可能将会变化。 更换NTP服务器前NTP服务器与集群当前时间偏差大于150s,则需先停止集群,防止数据丢失。停止集群期间服务无法访问。 如果NTP服务器与集群当前时间偏差大于15分钟,集群访问OBS会连接失败。 对于开启Kerberos认证
kafkaSessionization。 当Streaming DataFrame/Dataset中有新的可用数据时,outputMode用于配置写入Streaming接收器的数据。。 object kafkaSessionization { def main(args: Array[String]):
kafkaSessionization。 当Streaming DataFrame/Dataset中有新的可用数据时,outputMode用于配置写入Streaming接收器的数据。。 object kafkaSessionization { def main(args: Array[String]):