检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
调测Kafka High level Streams样例程序 在Windows中调测程序 在Windows环境调测程序步骤请参考在Windows中调测程序。 在Linux环境调测程序 编译并生成Jar包,并将Jar包复制到与依赖库文件夹同级的目录“src/main/resourc
-safemode leave 检查是否真的合并完成。 cd /srv/BigData/namenode/current 检查先产生的fsimage是否是当前时间的,若是则表示已经合并完成 父主题: 使用HDFS
如果没有active_thriftserver目录,执行4。 登录Manager界面,查看Spark的JDBCServer实例的主备状态是否未知。 是,执行5。 否,联系运维人员处理。 重启两个JDBCServer实例,查看主备实例状态恢复正常且zk下面有了目标目录和数据,作业即可恢复正常
> 告警”,选中“告警ID”为“16007”的告警,查看“定位信息”中的角色名并确定实例的IP地址。 告警上报的角色是HiveServer,执行2。 告警上报的角色是MetaStore,执行3。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 >
型”为“CHAR”时实际长度不足则空格补齐,“类型”为“VARCHAR”时实际长度不足则不补齐。 常量值:配置符合类型的常量值。 map 是 无 数据处理规则 生成指定类型的常量字段。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“增加常量字段”算子,增加两个字段C和D:
不支持嵌套创建多个索引,索引表仅用于加速查询,不承担数据表功能。 不支持创建可以被已有索引覆盖的索引 新建索引时,如果之前已存在的索引能够完全覆盖新建的索引(即创建的索引是已有索引的子集),则无法创建此索引,重复功能的索引会造成存储浪费。例如,以下操作将无法创建索引2: 创建数据表:create 't1','cf1'
round_robin 选择机制。必须是round_robin,random或者自定义的类,且该类继承了AbstractSinkSelector processor.selector.maxTimeOut 30000 屏蔽故障sink的时间,默认是30000毫秒 Failover配置样例:
service服务处于过载状态,可能无法及时响应Executor的注册请求,从而出现上面的问题。 Executor注册shuffle service的超时时间是5秒,最多重试3次,该参数目前不可配。 建议适当调大task retry次数和Executor失败次数。 在客户端的“spark-defaults
into时,会往表中追加数据,而使用insert overwrite时,如果表属性“auto.purge”被设置为“true”,直接删除原表数据,再写入新的数据。 如果对象表是分区表时,insert overwrite会删除对应分区的数据而非所有数据。 insert into后面的table关键字为可选,以兼容hive语法。
值(默认12秒)时,产生该告警。垃圾回收(GC)时间小于阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 23007 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。
有“HBase服务进程堆内存使用率超过阈值”告警产生。 是,执行3。 否,执行5。 参考“ALM-19008 HBase服务进程堆内存使用率超过阈值”的处理步骤处理该故障。 等待几分钟后,在告警列表中查看该告警是否清除。 是,处理完毕。 否,执行5。 在FusionInsight
有“HBase服务进程堆内存使用率超过阈值”告警产生。 是,执行3。 否,执行5。 参考“ALM-19008 HBase服务进程堆内存使用率超过阈值”的处理步骤处理该故障。 等待几分钟后,在告警列表中查看该告警是否清除。 是,处理完毕。 否,执行5。 在FusionInsight
apache.hudi.utilities.sources.HoodieIncrSource \ //指定source的类型是Hudi表,作为源表的Hudi表只能是COW类型 --payload-class org.apache.hudi.common.model.Overwrite
Compaction持续超过阈值”。 是,执行3。 否,执行5。 参考ALM-45646 RocksDB的Pending Compaction持续超过阈值章节处理对应的告警。 ALM-45646告警全部恢复后,等待几分钟,检查本告警是否恢复。 是,处理完毕。 否,执行5。 检查是否
iner启动后获取相应的文件。系统通过配置项“yarn.app.mapreduce.am.staging-dir”决定具体存放位置,默认值是“/tmp/hadoop-yarn/staging”。 正常运行的MapReduce任务会在Job结束以后就清理这些临时文件,但是当Job对
format = yyyyMMdd 顺延的天数 date.day = 1 例如,脚本传入的日期参数是20160220,则通过加法计算,得到的结果是20160221。 如果执行的命令是 ./run.sh 20160220 /user/loader/schedule_01时,以上过滤
format = yyyyMMdd 顺延的天数 date.day = 1 例如,脚本传入的日期参数是20160220,则通过加法计算,得到的结果是20160221。 如果执行的命令是 ./run.sh 20160220 /user/loader/schedule_01时,以上过滤
0-LTS.1 组件选择 基于系统预置的集群模板选择要购买的集群组件。 HBase查询集群 可用区 当前区域内,待创建资源所归属的可用区,可用区是在同一区域下,电力、网络隔离的物理区域。 说明: 当您为IES购买MRS时,请选择可用区为“边缘可用区”。 可用区1 虚拟私有云 MRS集群
t count(column_name) from table_name”。 JDBC超时限制 Hive提供的JDBC实现有超时限制,默认是5分钟,用户可以通过java.sql.DriverManager.setLoginTimeout(int seconds)设置,seconds的单位为秒。
url Loader服务的浮动IP地址和端口(21351)。 为了兼容性,此处支持配置多个IP地址和端口,并以“,”进行分隔。其中第一个必须是Loader服务的浮动IP地址和端口(21351),其余的可根据业务需求配置。 10.0.0.1:21351,10.0.0.2:12000 authentication