检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
elay策略可能会因为网络、内存等硬件故障导致用户作业失败次数达到最大重试次数,从而导致作业失败。 为了防止在failure-rate策略下的无限重启,推荐如下参数配置: restart-strategy: failure-rate restart-strategy.failure-rate
器问题。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选“OMS”下的“Controller”模块,单击“确认”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。
PartialUpdateAvroPayload 该Payload继承了OverwriteNonDefaultsWithLatestAvroPayload,它可以保证在任何场景下增量数据中的null值不会覆盖存量数据。 使用Payload Spark建表时指定Payload create table hudi_test(id
s_ha.sh,查询当前HA管理的controller资源状态是否正常(单机模式下面,controller资源为normal状态;双机模式下,controller资源在主节点为normal状态,在备节点为stopped状态。) 是,执行6。 否,执行4。 执行命令vi $BIGD
m/script/status_ha.sh,查询当前HA管理的pms资源状态是否正常(单机模式下面,pms资源为normal状态;双机模式下,pms资源在主节点为normal状态,在备节点为stopped状态。) 是,执行6。 否,执行4。 执行命令vi $BIGDATA_LOG
max-memory-per-node之和。 0.7 是否开启动态伸缩 若开启动态伸缩,可以在不重启实例的情况下,增加或者减少Worker数量;开启后可能会影响实例性能。多实例模式下,无法开启动态伸缩功能。开启动态伸缩参数介绍见配置HetuEngine Worker节点数量章节。 - 是否开启维护实例
在从JSON转换为ROW时,支持JSON数组和JSON对象。 JSON数组可以具有混合元素类型,JSON Map可以有混合值类型。这使得在某些情况下无法将其转换为SQL数组和Map。为了解决该问题,HetuEngine支持对数组和Map进行部分转换: SELECT CAST(JSON'[[1
rt/kafka> 一般在迁移没有正常执行完成时用来清理ZooKeeper上的中间状态信息。 Kafka集群IP端口号安全模式下是21007,普通模式下是9092。 异常情况处理 在使用Kafka均衡工具进行Partition迁移的过程中,如果出现集群中Broker故障导致均衡工
Manager,选择“集群 > 服务 > IoTDB > 配置 > 全部配置”,搜索参数“IOTDB_SERVER_RPC_PORT”获得。 普通模式下,初始安装后IoTDB有一个默认用户:root,密码请参见用户账号一览表章节获取。该用户为管理员用户,固定拥有所有权限,无法被赋予,无法被撤销权限,也无法被删除。
Manager,选择“集群 > 服务 > IoTDB > 配置 > 全部配置”,搜索参数“IOTDB_SERVER_RPC_PORT”获得。 安全模式下,登录IoTDBServer所在节点的用户名和密码由FusionInsight Manager统一控制,参考准备集群认证用户信息,确保该用户
(2 rows) --如果匹配字符串中有字符与通配符冲突,可以指定转义字符来标识,示例为查询default这个schema下,table_name前缀为"t_" 的所有table,转义字符为"\": SHOW FUNCTIONS LIKE 'array\_%' escape
Kafka角色实例所在节点IP地址,填写Broker角色实例其中任意一个的IP地址即可。 如果集群启用Kerberos认证,则端口需要修改为“21007”。 默认情况下,ZooKeeper的“clientPort”为“2181”。 父主题: 管理Kafka Topic
特别的,由于普通模式启动客户端不需要认证,sasl认证类型的ACL在普通模式下将不能使用。本文所有涉及sasl方式的鉴权操作均是在安全集群中进行。 表1 Zookeeper的五种ACL 权限说明 权限简称 权限详情 创建权限 create(c) 可以在当前znode下创建子znode 删除权限 delete(d)
进程。 HDFS NameNode的ZKFC连接到ZooKeeper,把主机名等信息保存到ZooKeeper中,即“/hadoop-ha”下的znode目录里。先创建znode目录的NameNode节点为主节点,另一个为备节点。HDFS NameNode Standby通过Zoo
根据官方建议和实践经验,在维度基数小于1万的时候,对维度字段做LowCardinality编码,导入性能会有略微下降,查询性能提升明显,数据存储空间下降明显。 在默认的情况下,声明了LowCardinality的字段会基于数据生成一个全局字典,并利用倒排索引建立Key和位置的对应关系。如果数据的基数大于8192,
Kafka角色实例所在节点IP地址,填写Broker角色实例其中任意一个的IP地址即可。 如果集群启用Kerberos认证,则端口需要修改为“21007”。 默认情况下,ZooKeeper的“clientPort”为“2181”。 父主题: 管理Kafka Topic
小时级的历史版本,这样的话近几个小时之内的增量数据可以通过log文件读出,如果保留时长过短,下游flink作业在重启或者异常中断阻塞的情况下,上游增量数据已经Clean掉了,flink需要从parquet文件读增量数据,性能会有下降;如果保留时间过长,会导致log里面的历史数据冗余存储。
在FusionInsight Manager首页,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“HDFS”和Manager下的NodeAgent。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后20分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。
在FusionInsight Manager首页,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“HDFS”和Manager下的NodeAgent。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后20分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。
间的前后1小时,单击“下载”。 使用传输工具,收集Flume Client端“/var/log/Bigdata/flume-client”下的日志。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。 参考信息 无。 父主题: