检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用“create materialized view”创建具备自动刷新的物化视图。 如果物化视图过多,可能会导致物化视图在刷新的等待队列中等待时间过长而过期。 自动刷新功能不会自动刷新状态为disable的物化视图。 查询外部Hive数据源使用自动刷新物化视图注意事项 维护实例默认使用He
Manager首页,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“HDFS”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后20分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
id”文件仍然存在,则会触发append /system/balancer.id操作,进而导致Balance操作失败。 如果“/system/balancer.id”文件的释放时间超过了软租期60s,则第二次执行Balance操作的客户端的append操作会抢占租约,此时最后一个block处于under construction或者under
及时对Hudi表进行compaction防止Hudi Source算子Checkpoint完成时间过长 当Hudi Source算子Checkpoint完成时间长时,可检查该Hudi表compaction是否正常。因为当长时间不做compaction时list性能会变差。 在事实表与维度表关联场景中可以按表设置TTL降低状态后端数据量
Manager。 选择“集群 > 客户端管理”,即可查看当前集群已安装的客户端信息。 用户可查看客户端所在节点的IP地址、安装路径、组件列表、注册时间及安装用户等信息。 在当前最新版本集群下载并安装客户端时,客户端信息会自动注册。 图1 客户端信息 如需手动添加已安装好的客户端信息,单击
Manager界面,选择“运维>日志 > 下载”。 在“服务”中勾选“OMS”,单击“确定”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除 此告警修复后,系统会自动清除此告警,无需手工清除。
HBase常见问题 结束BulkLoad客户端程序,导致作业执行失败 如何修复长时间处于RIT状态的Region HMaster等待NameSpace表上线时超时退出 客户端查询HBase出现SocketTimeoutException异常 在启动HBase shell时报错“java
在左侧导航栏选择需修改的角色所对应的“日志”菜单。 在右侧选择所需修改的日志级别。 保存配置,在弹出窗口中单击“确定”使配置生效。 重新启动配置过期的服务或实例以使配置生效。 日志格式 Hue的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <dd-MM-yy HH:mm:ss
解决MemartsCC安全认证长时间未返回问题 补丁兼容关系 MRS 3.1.2-LTS.2.9补丁包中包含所有MRS 3.1.2-LTS.2版本单点问题修复补丁。 MRS 3.1.2-LTS.2.8补丁基本信息 表2 补丁基本信息 补丁号 MRS 3.1.2-LTS.2.8 发布时间 2023-03-08
IoTDB采用轻量式架构,具有高性能和丰富的功能。IoTDB数据查询及分析包括以下两种场景: IoTDB时序数据查询 IoTDB以时间序列为基础,提供丰富的时间序列查询语义,包含精确点查询,时间范围查询,分组查询,最新点查询等。 图1 IoTDB时序数据查询 跨源IT/OT数据统一分析 IoTDB可以
1接口作业提交后,状态显示为error。 原因分析 executor会监控作业日志回显,确定作业执行结果,改为error后,检测不到输出结果,因此过期后判断作业状态为异常。 处理步骤 将“/opt/client/Spark/spark/conf/log4j.properties”中的日志级别修改为info。
S集群Manager界面,详情请参考访问MRS集群Manager。 对系统的影响 集群执行同步配置后,需要重启配置过期的服务,重启时对应的服务不可用。 重启配置过期的实例时,该实例不可用。 通过管理控制台同步集群配置 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。
优化keytab文件下载的权限控制 大数据组件 解决Presto角色名称包含大写字母,权限模型未生效问题 解决Hive删除分区慢的问题 解决Spark长时间运行Token过期问题 MRS 2.1.0.8 修复问题列表: MRS Manager 解决委托访问OBS,ECS接口限流问题 MRS Manager支持多人登录
、Storm、Kafka。 使用客户端命令,提交Topology失败。 可能原因 Storm服务异常。 客户端用户没有进行安全认证或者认证过期。 提交拓扑中包含storm.yaml文件和服务端冲突。 原因分析 用户提交拓扑失败,可能原因客户端侧问题或者Storm侧问题。 查看Storm状态。
约束条件 对于已安装HBase组件的节点组扩容时: 如果集群没有开启节点自动注册DNS,扩容该节点组时需选择不启动组件,之后请参考服务端配置过期后更新MRS集群客户端更新完HBase客户端配置后再启动扩容节点上的HBase组件实例。 以下版本默认开启了集群自动注册DNS,也可以请通
INIT:物化视图首次被创建,没有实体数据 SUSPEND:挂起状态,不能改写,不能刷新 State:物化视图有效期 Stale:物化视图过期 Valid:物化视图未过期,正常状态 SyncStatus:物化视图缓存是否同步 SHOW MATERIALIZED VIEWS FROM tpcds;
补丁基本信息说明 表1 补丁基本信息 补丁号 MRS 3.1.0.0.16 发布时间 2024-11-25 解决的问题 提交Spark SQL作业,中文冒号被转换成英文冒号。 Spark SQL外表动态分区执行insert overwrite报错。 Spark JDBC产生空指针报错。
单位:byte。 134217728(即128M) spark.files.openCostInBytes 打开文件的预估成本, 按照同一时间能够扫描的字节数来测量。当一个分区写入多个文件时使用。高估更好,这样小文件分区将比大文件分区更先被调度。 4M 父主题: Spark SQL性能调优
在左侧导航栏选择需修改的角色所对应的“日志”菜单。 在右侧选择所需修改的日志级别。 保存配置,在弹出窗口中单击“确定”使配置生效。 重新启动配置过期的服务或实例以使配置生效。 日志格式 Hue的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <dd-MM-yy HH:mm:ss
当Channel满了以后,尝试再次去写Channel所等待的最大时间。超过这个时间,则会发生异常。对应的Source会以一个较小的时间开始,然后每尝试一次,该时间数字指数增长直到达到当前指定的值,如果还不能成功写入,则认为失败。时间单位:秒。 emptyFileEvent true 是否