检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Broker Load导入数据时报错: Scan bytes per broker scanner exceed limit:xxx 原因分析 BE处理的单个导入任务的最大数据量为3GB,超过该值的待导入文件需要通过调整Broker Load的导入参数来实现大文件的导入。 处理步骤
不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip 16.04版本。 表2 Python3开发环境(使
不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 安装Scala Scala开发环境的基本配置。版本要求:2.12.14。 安装Scala插件 Scala开发环境的基本配置。版本要求:2018
客户端软件包名称格式为:“FusionInsight_Cluster_集群ID_Services_Client.tar”。本章节仅以集群ID为1进行介绍,请以实际集群ID为准。 以客户端安装用户登录将要安装客户端的服务器。 进入安装包所在目录,执行如下命令解压软件包。 cd
客户端软件包名称格式为:“FusionInsight_Cluster_集群ID_Services_Client.tar”。本章节仅以集群ID为1进行介绍,请以实际集群ID为准。 以客户端安装用户登录将要安装客户端的服务器。 进入安装包所在目录,执行如下命令解压软件包。 cd
是,需要先给集群安装MRS_3.2.0-LTS.1.9_RootPatch_20240605.tar.gz补丁,以支持密钥方式的root补丁特性。 软件包获取地址: 华东-上海一:https://mrs-container1-patch-cn-east-3.obs.cn-east-3.myhuaweicloud
以root登录主OMS节点,进入客户端配置文件所在路径(默认为“/tmp/FusionInsight-Client/”),解压软件包后获取“Kafka/config”路径下的表1中相关配置文件。 例如客户端软件包为“FusionInsight_Cluster_1_Services_Client.tar”,下
由于MRS集群节点的NTP时间不同步导致集群访问OBS时鉴权失败 问题现象 集群访问OBS上报403异常。 原因分析 集群Master节点NTP时间与集群外节点的NTP服务器时间不同步,时间相差超过15min,导致集群访问OBS时鉴权失败,上报403异常。 处理步骤 以root用户登录集群主Master节点。
“/var/log/Bigdata/hbase/*/hbase-omm-*.out”日志文件过大,造成OS盘/var/log分区空间不足。 原因分析 在HBase长时间运行场景下,操作系统会把JVM创建的“/tmp/.java_pid*”文件定期清理。因为HBase的内存监控使用了JV
MapReduce统计数据的应用开发示例: 提供了一个MapReduce统计数据的应用开发示例,通过类CollectionMapper实现数据分析、处理,并输出满足用户需要的数据信息。 相关样例介绍请参见MapReduce统计样例程序。 MapReduce作业访问多组件的应用开发示例:
server,请检查当前用户的hive权限以及hue的hive配置是否正确。”或“No available hive server......” 原因分析 对于开启Kerberos认证的集群,admin用户不具有操作Hue WebUI的权限。可以创建一个“人机”用户(例如hueuser),并
MapReduce统计数据的应用开发示例: 提供了一个MapReduce统计数据的应用开发示例,通过类CollectionMapper实现数据分析、处理,并输出满足用户需要的数据信息。 相关样例介绍请参见MapReduce统计样例程序。 MapReduce作业访问多组件的应用开发示例:
问题背景与现象 当用户在HDFS上执行写操作时,出现“Failed to place enough replicas:expected…”信息。 原因分析 DataNode的数据接收器不可用。 此时DataNode会有如下日志: 2016-03-17 18:51:44,721 | WARN |
错为: The directory item limit of /tmp is exceeded: limit=5 items=5。 原因分析 查看客户端或者NameNode运行日志“/var/log/Bigdata/hdfs/nn/hadoop-omm-namenode-XXX
the pg_hba.conf file to include the client's IP address or subnet。 原因分析 连接PgSQL MD5认证不通过,需要在“pg_hba.conf”中配置白名单。 在执行sqoop import命令时,会启动MapReduce任务,由于MRS
hsslcontext_tls.html#matchsslcontext_tls。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip 16.04版本。 父主题: 准备Kafka应用开发环境
hsslcontext_tls.html#matchsslcontext_tls。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip 16.04版本。 父主题: 准备Kafka应用开发环境
"endTimeEpoch" : -1, "lastUpdatedEpoch" : 1517383247086 } ] }] 结果分析: 通过这个命令,可以查询当前集群中所有的Spark应用(包括正在运行的应用和已经完成的应用),每个应用的信息如下表1。 表1 应用常用信息
HetuEngine支持物化视图及自动刷新。 HetuEngine支持配置IoTDB数据源。 Hudi 升级到0.11.0版本。 IoTDB 新增组件,一体化收集、存储、管理与分析物联网时序数据的服务。 集群管理 支持补丁在线推送及更新。 组件版本信息 表1 MRS组件版本信息 组件 版本 CarbonData 2.2
现象描述 建表时偶现报错“Failed to find enough host with storage medium and tag”。 原因分析 Doris支持一个BE节点配置多个存储路径,并支持指定路径的存储介质属性,如SSD或HDD。通常情况下,每块盘配置一个存储路径即可。 如果“be