检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SparkLauncher程序的编译依赖包为spark-launcher_2.12-3.1.1-hw-ei-311001-SNAPSHOT.jar,请从软件发布包中Software文件夹下“FusionInsight_Spark2x_8.1.0.1.tar.gz”压缩包中的“jars”目录中获取。
以root用户登录主OMS节点,进入客户端配置文件所在路径(默认为“/tmp/FusionInsight-Client/”),解压软件包后获取“Hive/config”路径下的表1中相关配置文件。 例如客户端软件包为“FusionInsight_Cluster_1_Services_Client.tar”,下载
客户端软件包名称格式为:“FusionInsight_Cluster_集群ID_Services_Client.tar”。本章节仅以集群ID为1进行介绍,请以实际集群ID为准。 以客户端安装用户登录将要安装客户端的服务器。 进入安装包所在目录,执行如下命令解压软件包。 cd
查看日志文件“$BIGDATA_LOG_HOME/nodeagent/scriptlog/checkfileconfig.log”,根据错误日志分析原因。在参考信息中查找该文件的检查标准,并对照检查标准对文件进行进一步的手动检查和修改。 执行vi 文件名命令进入编辑模式,按“Insert”键开始编辑。
界面,单击“集群 > 服务 > Doris > 实例”,查看任一FE或DBalancer实例的业务IP地址。 用户也可以使用MySQL连接软件或者在Doris WebUI界面连接数据库。 执行命令后输入dorisuser用户密码。 可执行以下命令查看已配置的SQL防御规则: use
生命周期常用术语 术语 定义 停止销售(EOM) 指停止云服务版本的部署,现网中不再部署该云服务版本。 停止全面支持(EOFS) 指定云服务版本停止普通软件BUG修复工作,仅执行致命问题修复、安全类问题修复以及升级等操作。 停止服务(EOS) 指停止云服务版本的使用,现网版本需要升级到新的云服务版本。
不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 准备开发用户 参考准备MRS应用开发用户进行操作,准备用于应用开发的集群用户并授予相应权限。 7-zip 用于解压“*.zip”和“*
不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 准备开发用户 准备用于应用开发的ClickHouse集群用户并授予相应权限。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip
查询吞吐利用查询SQL的分桶剪裁优化避免了全桶扫描,以提升查询性能。 分桶列的选取:优先考虑数据较为均匀且常用于查询条件的列作为分桶列。 可使用以下方法分析是否会导致数据倾斜: SELECT a, b, COUNT(*) FROM tab GROUP BY a,b; 命令执行后查看各个分组的数
FileNotFoundException” 问题背景 HBase启动失败,RegionServer一直处于Restoring状态。 原因分析 查看RegionServer的日志(/var/log/Bigdata/hbase/rs/hbase-omm-XXX.log),发现显示以下打印信息:
session.SessionManager.openSession(SessionManager.java:314) ... 12 more 原因分析 业务量大导致连接HiveServer单个节点最大连接数超过了200,需要调大连接HiveServer实例的最大连接数。 解决办法 进入Hive服务配置页面:
1100元。 数据规划 在开始开发应用前,需要创建Hive表,命名为person,并插入数据。同时,创建HBase table2表,用于将分析后的数据写入。 将原日志文件放置到HDFS系统中。 在本地新建一个空白的log1.txt文件,并在文件内写入如下内容: 1,100 在HD
DBService服务异常。 Yarn服务异常。 Mapreduce服务异常。 环境故障:网络异常,Loader服务无法与其依赖的内部服务通信,无法提供服务。 软件故障:Loader服务无法正常运行。 处理步骤 检查ZooKeeper服务状态。 登录MRS集群详情页面,选择“组件管理”。 选择“Zoo
中的表“table1”的“name”列有Create和select的权限,而对于其他列则没有任何的访问权限。 参见快速使用Hive进行数据分析登录Hive客户端,验证Ranger是否已经完成集成Hive。 以客户端安装用户登录客户端安装节点,执行如下命令,进入hive beeline。
(kafka.admin.TopicCommand$) 可能原因 Kafka服务处于停止状态。 客户端命令中ZooKeeper地址参数配置错误。 原因分析 使用客户端命令,打印NoNodeException异常。 Error while executing topic command : org
from org.apache.hadoop.hive.ql.exec.mr.MapRedTask (state=08S01,code=1) 原因分析 MapReduce任务提交前对输入文件数的检查策略:在提交的MapReduce任务中,允许的最大输入文件数和HiveServer最大堆内
检查是否下游处理Kafka Topic中消息过慢。 根据用户业务判断,是否存在下游消费Topic中消息较慢的情况。 是,执行9。 否,执行10。 根据实际情况分析下游作业导致Topic中消息不能及时、快速消费的原因,增强下游消费Topic中消息的能力。等待5分钟,查看当前告警是否清除。 是,操作结束。
滚动重启 滚动重启前请分析集群。ZooKeeper客户端连接数规格是否满足“maxCnxns”、“maxClientCnxns”参数配置要求,否则适当调整参数值使满足系统要求。可以通过各quorumpeer实例“ZooKeeper服务客户端资源连接状况”监控值分析,当规格不满足要求时,增大如上服务端参数配置值即可。
滚动重启 滚动重启前请分析集群。ZooKeeper客户端连接数规格是否满足“maxCnxns”、“maxClientCnxns”参数配置要求,否则适当调整参数值使满足系统要求。可以通过各quorumpeer实例“ZooKeeper服务客户端资源连接状况”监控值分析,当规格不满足要求时,增大如上服务端参数配置值即可。
FE实例IP地址可通过登录MRS集群的Manager界面,单击“集群 > 服务 > Doris > 实例”,查看任一FE实例的IP地址。 用户也可以使用MySQL连接软件或者Doris WebUI界面连接数据库。 执行以下命令在HDFS中创建一个远程仓库example_repo: 集群已启用Kerberos认证(安全模式)