检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink对接Elasticsearch作业运行一段时间后Checkpoint失败 Flink Jar包冲突报错ClassCastException类型转换异常 如何设置开源Flink中的znode存储目录 DGC方式如何创建Flink Hive Sql作业 父主题: Flink应用开发规范
而造成的建表失败异常 如何清理由于建表失败残留在ZooKeeper的table-lock节点下的表名 为什么给HBase使用的HDFS目录设置quota会造成HBase故障 使用OfflineMetaRepair工具重新构建元数据后HMaster启动失败 HMaster日志中频繁
节点剩余内存不足导致HBase启动失败 HDFS性能差导致HBase服务不可用告警 参数不合理导致HBase启动失败 残留进程导致Regionsever启动失败 HDFS上设置配额导致HBase启动失败 HBase version文件损坏导致启动失败 无业务情况下,RegionServer占用CPU高 HBase
此,一个文件中的记录总数约为130K。 默认值(60000)大约是此近似值的一半。 注意: 将此值设置的太低,将产生很多误报,并且索引查找将必须扫描比其所需的更多的文件;如果将其设置的非常高,将线性增加每个数据文件的大小(每50000个条目大约4KB)。 60000 hoodie
Storm-HBase开发指引 Storm Flux开发指引 Storm对外接口介绍 如何使用IDEA远程调试业务 使用旧插件storm-kafka时如何正确设置offset IntelliJ IDEA中远程提交拓扑执行Main时报错:Command line is too long 父主题: Storm开发指南(普通模式)
如何修改FlumeClient的日志为标准输出日志? Hadoop组件jar包位置和环境变量的位置在哪里? 如何查看HBase日志? HBase表如何设置和修改数据保留期? 如何修改HDFS的副本数? 如何修改HDFS主备倒换类? DynamoDB的number在Hive表中用什么类型比较好?
nException” 执行Kafka Topic创建操作时发现无法创建提示“NoAuthException” 执行Kafka Topic设置ACL操作失败,提示“NoAuthException” 执行Kafka Topic创建操作时发现无法创建提示“NoNode for /brokers/ids”
MapReduce任务长时间无进展 为什么运行任务时客户端不可用 在缓存中找不到HDFS_DELEGATION_TOKEN如何处理 如何在提交MapReduce任务时设置任务优先级 MapReduce任务运行失败,ApplicationMaster出现物理内存溢出异常 MapReduce作业信息无法通过ResourceManager
安全集群执行set命令的时候报错“Cannot modify xxx at runtime” 提交Hive任务时如何指定队列? 怎么通过客户端设置Map/Reduce内存? 如何在导入Hive表时指定输出的文件压缩格式? Hive表desc描述过长导致无法完整显示 Hive表中增加分区列后再插入数据显示为NULL
如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 如何处理blob.storage.directory配置/home目录时启动yarn-session失败 如何处理非static的KafkaPartitioner类对象构造FlinkKafkaProducer010运行时报错
如何在提交MapReduce任务时设置任务优先级 问题 如何在提交MapReduce任务时设置任务优先级? 回答 当您在客户端提交MapReduce任务时,可以在命令行中增加“-Dmapreduce.job.priority=<priority>”参数来设置任务优先级。格式如下: yarn
如何在提交MapReduce任务时设置任务优先级 问题 如何在提交MapReduce任务时设置任务优先级? 回答 当您在客户端提交MapReduce任务时,可以在命令行中增加“-Dmapreduce.job.priority=<priority>”参数来设置任务优先级。格式如下: yarn
单NameNode长期故障时如何使用客户端手动checkpoint HDFS文件读写时报错“Failed to place enough replicas” 文件最大打开句柄数设置太小导致读写文件异常 HDFS客户端写文件close失败 文件错误导致上传文件到HDFS失败 界面配置dfs.blocksize后上传数据,block大小未改变
如何在不同的namespaces上逻辑地分割数据 为什么在Spark Shell中不能执行更新命令? 如何在CarbonData中配置非安全内存? 设置了HDFS存储目录的磁盘空间配额,CarbonData为什么会发生异常? 为什么数据查询/加载失败,且发生“org.apache.carbondata
设置了HDFS存储目录的磁盘空间配额,CarbonData为什么会发生异常? 问题 设置了HDFS存储目录的磁盘空间配额,CarbonData为什么会发生异常。 回答 创建、加载、更新表或进行其他操作时,数据会被写入HDFS。如果HDFS目录的磁盘空间配额不足,则操作失败并发生以下异常。
Spark客户端设置回收站version不生效 问题 Spark客户端设置fs.obs.hdfs.trash.version=1不生效,drop table后文件在回收站的存放路径不改变。 通常,默认情况: 当fs.obs.hdfs.trash.version=2时,回收站路径为:/user/
比如换行时标准的解析会自动换行的问题。 解决Yarn监控图缺失问题。 解决使用Sqoop将MySQL数据导入到Hive中失败的问题。 解决Yarn配置本地化日志级别参数被设置为不支持修改的问题。 Hudi clean与archive逻辑解耦,不执行clean也能执行归档。 解决Hudi的.schema目录下文件找不到的问题。
产生告警的网口名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务系统运行不正常或不可用。 可能原因 告警阈值配置不合理。 网口速率不满足当前业务需求。 处理步骤 检查阈值设置是否合理。 登录MRS Manager,查看该告警阈值是否不合理(默认
产生告警的网口名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务系统运行不正常或不可用。 可能原因 告警阈值配置不合理。 网口速率不满足当前业务需求。 处理步骤 检查阈值设置是否合理。 登录MRS Manager,查看该告警阈值是否合理(默认8
Yarn资源池可用资源指标异常,导致弹性伸缩触发异常。 Yarn ResourceManager长时间运行后发现大量ContainerIdPBImpl对象占用内存,可能是内存泄漏。 HDFS客户端leaserenewer线程泄漏。 HDFS重启后权限属性丢失,导致数据无法读取。 备NameN