正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS写文件失败,报错“item limit of xxx is exceeded” 问题背景与现象 客户端或者上层组件日志报往HDFS的某目录写文件失败,报错为: The directory item limit of /tmp is exceeded: limit=5 items=5。
SQL为执行SQL的模块。 场景说明 假定用户有某个周末网民网购停留时间的日志文本,基于某些业务要求,要求开发Spark应用程序实现如下要求: 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名,第二列为性别,第三列为本次停留时间,单位为分钟,分隔符为“
感知的分析加速效果。HetuEngine管理员通过付出少量的计算资源和存储空间,可实现对高频SQL业务的智能加速。同时,该能力可以降低数据平台的整体负载(CPU、内存、IO等),有助于提升系统稳定性。 智能物化视图包括以下几个功能: 自动推荐物化视图 自动创建物化视图 自动刷新物化视图
MRS集群内属于同一个用户组,并且权限也相同的两个用户A和B,同时绑定了queueA以及queueB两个队列。 为什么用户A的任务一直提交到queueA队列,用户B的任务却一直提交到queueB队列? 答: MRS集群内用户绑定了多个队列时,系统在提交任务时会随机选择队列,建议合理设置用户的队列权限,最好一个用户只绑定一个队列。
Manager,选择“集群 > 概览 > 更多 > 下载客户端”,“选择客户端类型”设置为“仅配置文件”,根据待安装客户端节点的节点类型选择正确的平台类型后(x86选择x86_64,ARM选择aarch64),单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例
执行SQL提交任务到指定队列时报错 问题现象 执行SQL提交任务到Yarn报如下错误: Failed to submit application_1475400939788_0033 to YARN : org.apache.hadoop.security.AccessControlException:
节点剩余内存不足导致HBase启动失败 问题现象 HBase的RegionServer服务一直是Restoring状态。 原因分析 查看RegionServer的日志(“/var/log/Bigdata/hbase/rs/hbase-omm-XXX.out”),发现显示以下打印信息:
要重新下载keytab文件。 分析告警 导出指定周期内产生的告警并分析。 扫描磁盘 对磁盘健康状态进行检查,建议使用专门的磁盘检查工具。 统计存储 分批次排查集群节点磁盘数据是否均匀存储,筛选出明显数据增加或不足的硬盘,并确认硬盘是否正常。 记录变更 安排并记录对集群配置参数和文
如果是非叶子租户,非叶子租户不能直接将任务提交到队列中。但是,Yarn会额外为非叶子租户增加一个任务队列(隐含),队列默认命名为“default”,用于统计当前租户剩余的资源容量,实际任务不会分配在此队列中运行。 不选择“Yarn”时,系统不会自动创建任务队列。 默认资源池容量 (%) 配置当
HetuEngine支持配置IoTDB数据源。 Hudi 升级到0.11.0版本。 IoTDB 新增组件,一体化收集、存储、管理与分析物联网时序数据的服务。 集群管理 支持补丁在线推送及更新。 组件版本信息 表1 MRS组件版本信息 组件 版本 CarbonData 2.2.0
时,会判断当前用户对指定的目录以及该目录下其它目录和文件是否有读写权限,如果该目录不存在,会去判断其父目录,依次类推。如果一直不满足就会报权限不足。而不是报指定的目录不存在。 解决方案 请确认当前用户为路径“/tmp/aaa/aaa”的owner有读写权限,如果该路径不存在,确认对其父路径有读写权限。
9:40,那么这条记录会保存在分区trip_data/2018/201805/20180511下面。 对trip_data进行按时间维度统计汇总时,只需要对局部数据扫描,大大提升性能。 步骤2:创建CDM集群并绑定EIP 如果是独立CDM服务,参考创建集群创建CDM集群;如果是作为DataArts
使用Hue WebUI访问HDFS文件失败 问题 在使用Hue WebUI访问HDFS文件时,报如下图所示无法访问的错误提示,该如何处理? 回答 查看登录Hue WebUI的用户是否具有“hadoop”用户组权限。 查看HDFS服务是否安装了HttpFS实例且运行正常。如果未安装
在普通集群中手动创建Linux用户,并使用集群内DataNode节点执行批量导入时,为什么LoadIncrementalHFiles工具执行失败报“Permission denied”的异常? 2020-09-20 14:53:53,808 WARN [main] shortcircuit
RegionServer实例异常,处于Restoring状态 问题背景 HBase启动失败,RegionServer一直处于Restoring状态。 原因分析 查看异常的RegionServer实例的运行日志(/var/log/Bigdata/hbase/rs/hbase-omm-XXX
为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中,日志中一直打印getApplicationReport异常且应用较长时间不退出 Spark执行应用时上报“Connection to ip:port has
如何处理Flink任务配置State Backend为RocksDB时报错GLIBC版本问题 问题 Flink任务配置State Backend为RocksDB时,运行报如下错误: Caused by: java.lang.UnsatisfiedLinkError: /srv/BigData/hadoop/d
JDBC代码用例开发的业务应用运行失败 问题背景与现象 用户参考Hive组件的“jdbc-examples”样例工程,完成其自身业务应用开发后,运行此应用失败。应用侧报如下异常: .......... 2017-05-11 14:33:52.174 ERROR --- [ main]
Hue界面无法加载HBase表 用户问题 用户在Hue界面将hive数据导入hbase后,报检测不到hbase表的错误。 问题现象 Kerberos集群中,IAM子账户权限不足导致无法加载hbase表。 原因分析 IAM子账户权限不足。 处理步骤 MRS Manager界面操作:
为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中,日志中一直打印getApplicationReport异常且应用较长时间不退出 Spark执行应用时上报“Connection to ip:port has