检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
IntelliJ IDEA中远程提交拓扑执行Main时报错：Command line is too long 问题 IntelliJ IDEA中远程提交拓扑，执行Main方法时IntelliJ IDEA报如下错 ： Command line is too long. Shorten
当大面积shuffle文件损坏后，会引起大批量task失败，然后进行job重试。重试前Spark会将写表分区文件的句柄关闭，大批量task关闭句柄时HDFS无法及时处理。在task进行下一次重试时，句柄在NameNode端未被及时释放，即会发生"Failed to CREATE_FILE"异常。
Flume日志保存在/var/log/Bigdata/flume/flume/flumeServer.log 里。绝大多数数据传输异常、数据传输不成功，在日志里都可以看到提示。可以直接输入以下命令查看： tailf /var/log/Bigdata/flume/flume/flumeServer.log 问题：当配置
使用kafka采集数据时报错IllegalArgumentException 问题 线程“main”报错 org.apache.kafka.common.KafkaException，构造kafka消费者失败，报错： java.lang.IllegalArgumentException: Could
使用kafka采集数据时报错IllegalArgumentException 问题 线程“main”报错 org.apache.kafka.common.KafkaException，构造kafka消费者失败，报错： java.lang.IllegalArgumentException: Could
使用HDFS Colocation存储Hive表 操作场景 HDFS Colocation（同分布）是HDFS提供的数据分布控制功能，利用HDFS Colocation接口，可以将存在关联关系或者可能进行关联操作的数据存放在相同的存储节点上。Hive支持HDFS的Colocati
安装使用集群外客户端时，连接集群端口失败 问题 安装集群外客户端或使用集群外客户端时，有时会出现连接Spark任务端口失败的问题。 异常信息：Failed to bind SparkUi Cannot assign requested address: Service ‘sparkDriver’ failed
IntelliJ IDEA中远程提交拓扑执行Main时报错：Command line is too long 问题 IntelliJ IDEA中远程提交拓扑，执行Main方法时IntelliJ IDEA报如下错 ： Command line is too long. Shorten
Flume日志保存在/var/log/Bigdata/flume/flume/flumeServer.log 里。绝大多数数据传输异常、数据传输不成功，在日志里都可以看到提示。可以直接输入以下命令查看： tailf /var/log/Bigdata/flume/flume/flumeServer.log 问题：当配置
集群扩容之后新节点HRegionServer启动失败 问题现象 集群扩容完成之后，新节点的HRegionserver启动失败，一直处于异常状态，无法正常提供服务。 登录故障RegionServer所在节点，jps查看RegionServer进程没有启动，在Manager上手动重启
当大面积shuffle文件损坏后，会引起大批量task失败，然后进行job重试。重试前Spark会将写表分区文件的句柄关闭，大批量task关闭句柄时HDFS无法及时处理。在task进行下一次重试时，句柄在NameNode端未被及时释放，即会发生"Failed to CREATE_FILE"异常。
使用HDFS Colocation存储Hive表 操作场景 HDFS Colocation（同分布）是HDFS提供的数据分布控制功能，利用HDFS Colocation接口，可以将存在关联关系或者可能进行关联操作的数据存放在相同的存储节点上。Hive支持HDFS的Colocati
CTBase对接Ranger权限插件提示权限不足 问题 在MRS集群中，CTBase访问启用Ranger插件的HBase服务时，如果创建聚簇表，提示权限不足。 报错信息如下： ERROR: Create ClusterTable failed. Error: org.apache
CTBase对接Ranger权限插件，提示权限不足 问题 CTBase访问启用Ranger插件的HBase服务时，如果创建聚簇表，提示权限不足。 报错信息如下： ERROR: Create ClusterTable failed. Error: org.apache.hadoop
元数据存储目录 寻找所有FE的元数据存储目录，查看此存储目录下子文件“image/image.xxxx”，其中“image.xxxx”后面的数字越大表示元数据越新，找到最新的一个FE，作为即将首个恢复的FE，即Master。 备份所有FE的元数据存储目录。 例如，元数据存储目录为
sftp-connector连接器相关作业运行失败 问题 使用sftp-connector连接器相关作业运行失败，出现如下类似报错：“获取Sftp通道失败。xxx (原因是: failed to send channel request)”。 SFTP服务出现如下报错：“subsystem request failed
datanode.failed.volumes.tolerated的值时，DataNode启动失败 问题 当“dfs.datanode.data.dir”中定义的磁盘数量等于“dfs.datanode.failed.volumes.tolerated”的值时，DataNode启动失败。 回答
datanode.failed.volumes.tolerated的值时，DataNode启动失败 问题 当“dfs.datanode.data.dir”中定义的磁盘数量等于“dfs.datanode.failed.volumes.tolerated”的值时，DataNode启动失败。 回答
通过Yarn WebUI查看作业日志时提示“Could not access logs page!” 问题背景与现象 登录Yarn WebUI界面查看作业日志“Logs”，然后单击“Local logs”，界面提示“Could not access logs page!”。 原因分析
HBase支持对同一张表的数据进行冷热分离存储。用户在表上配置数据冷热时间分界点后，HBase会依赖用户写入数据的时间戳（毫秒）和时间分界点来判断数据的冷热。数据开始存储在热存储上，随着时间的推移慢慢往冷存储上迁移。同时用户可以任意变更数据的冷热分界点，数据可以从热存储到冷存储，也可以从冷存储到热存储。 图1 HBase冷热分离原理图
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
