检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HMaster等待NameSpace表上线时超时退出 问题 为什么在等待namespace表上线时超时HMaster退出? 回答 在HMaster主备倒换或启动期间,HMaster为先前失败/停用的RegionServer执行WAL splitting及region恢复。 在后台
检查Flume Source是否故障。 确认Flume Source是否是spooldir类型。 是,执行1.b。 否,执行1.c。 查看设置的spoolDir目录,是否所有的文件均已传输完毕。 是,处理完毕。 否,执行1.e。 确认Flume Source是否是Kafka类型。
HBase启动失败,RegionServer日志中提示“FileNotFoundException” 问题背景 HBase启动失败,RegionServer一直处于Restoring状态。 原因分析 查看RegionServer的日志(/var/log/Bigdata/hbase/rs/hbase-omm-XXX
submitTopology(args[0], conf, builder.createTopology()); } Storm不支持将HDFS的目的文件路径设置为HDFS的SM4加密分区。 部署运行及结果查看 导出本地jar包,请参见打包Strom样例工程应用。 将1导出的本地Jar包,4中获取的
初始化HDFS 功能简介 在使用HDFS提供的API之前,需要先进行HDFS初始化操作。过程为: 加载HDFS服务配置文件,并进行kerberos安全认证。 认证通过后,实例化Filesystem。 使用HDFS的API。 此处kerberos安全认证需要使用到的keytab文件,请提前准备。
keytab”文件就是用户的凭据文件。 使用HetuEngine管理员用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。 在概览页签下的“基本信息”区域,单击“HSConsole WebUI”后的链接,进入HSConsole界面。
KAFKA_HEAP_OPTS Kafka启动Broker时使用的jvm选项。建议根据业务需要进行设置。 -Xmx6G -Xms6G auto.create.topics.enable 是否自动创建Topic,若参数设置为false,发消息前需要通过命令创建Topic。 true default.replication
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 JDBCServer2x进程堆内存使用率过高,会影响JDBCServer2x进程运行的性能,甚至造成内存溢出导致JD
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 JDBCServer2x进程直接内存使用率过高,会影响JDBCServer2x进程运行的性能,甚至造成内存溢出导致J
配置“enable.advertised.listener”参数值为“true”。 说明: 安装Kafka服务时,此参数初始化配置不能设置为“true”,设置为“true”的前提条件是Broker实例和ZooKeeper必须处于正常运行状态。 advertised.broker.id.ip
println(s"Finished! Exit code is $exitCode") } 根据业务逻辑,开发对应的Spark应用程序。并设置用户编写的Spark应用程序的主类等常数。准备业务应用代码及其相关配置。不同场景的示例请参考开发Spark应用。 调用org.apache
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 JobHistoryServer进程的垃圾回收时间过长,可能影响该JobHistoryServer进程正常提供服务。
用户名 产生告警的用户名称。 附加信息 ThreshHoldValue 系统当前指标取值满足自定义的告警设置条件的门限值。 CurrentValue 系统当前指标取值满足自定义的告警设置条件的当前值。 对系统的影响 Flink作业的CheckPoint连续失败,超过阈值后Flink作业
Ranger管理员可通过Ranger为HetuEngine用户配置操作数据源的数据库、表、列的管理权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建用户需要配置权限的用户、用户组或角色。 用户已加入hetuuser组。 在使用HetuEngine前,请确保客户端操作
配置”,单击“全部配置”,搜索以下参数。 参数 说明 默认值 spark.history.store.path JobHistory缓存历史信息的本地目录,如果设置了此配置,则JobHistory会将历史应用数据缓存在本地磁盘而不是内存中 ${BIGDATA_HOME}/tmp/spark2x_JobHistory
如何处理用户在使用chrome浏览器时无法显示任务状态的title 如何处理IE10/11页面算子的文字部分显示异常 如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 如何处理blob.storage.directory配置/home目录时启动yarn-session失败
Timeout或者SocketTimeout Exception异常。 调优建议: 将ZooKeeper实例个数调整为5个及以上,可以通过设置peerType=observer来增加observer的数目。 通过控制单个任务并发的map数或减少每个节点下运行task的内存,降低节点负载。
found”。该问题原因是操作系统的GLIBCXX版本较低,导致该特性依赖的libnativetask.so.1.0.0库无法加载,进而导致任务失败。 规避手段: 设置配置项mapreduce.job.map.output.collector.class的值为org.apache.hadoop.mapred
apache.hudi.keygen.ComplexKeyGenerator,要求DataSource方式写入时KeyGenerator与SQL设置的一致。 父主题: Hudi SQL语法参考
"/tmp/hudi/h1"; 注意事项 对表执行clean操作时需要表的owner才可以执行。 如果需要修改clean默认的参数,需要在执行前以set方式设置好需要保留的commit数等参数。 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi DML语法说明