检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录FusionInsight Manager界面,访问“集群 > 服务 > ClickHouse > 配置 > 全部配置 > ClickHouseServer > 日志”,可修改ClickHouseServer审计日志和运行日志的文件大小和文件数目。 ClickHouse支持ClickHouseBal
RDS服务PostgreSQL数据库:安装了Hive组件的集群支持连接该类型数据库。 RDS服务MySQL数据库:安装了Hive或Ranger组件的集群支持连接该类型数据库。 名称 newtest 数据连接的名称。 数据库实例 - RDS服务数据库实例,该实例需要先在RDS服务创
100MB的时(此日志文件大小可进行配置),会自动压缩。 压缩后的日志文件名规则为:“<原有日志名>.[编号].gz”。 默认最多保留最近的10个压缩文件,压缩文件保留个数可以在Manager界面中配置。 父主题: ClickHouse数据库运维
e分区表的导入导出进行优化。 建议将SFTP服务器和数据库服务器与Loader部署在独立的子网中,以保障数据安全地导出。 与关系数据库连接时,可以选择通用数据库连接器(generic-jdbc-connector)或者专用数据库连接器(oracle-connector、oracl
PREWHERE只支持*MergeTree系列的表。系统配置optimize_move_to_prewhere默认开启,将WHERE转成PREWHERE,可以根据自己的业务场景调整这个配置。 查询语句中同时有PREWHERE和WHERE,在这种情况下,PREWHERE先于WHERE执行。 合理配置最大并发数。 Cli
oader工具实时同步到ClickHouse,下游BI工具和应用进行实时OLAP分析。 数据加工 建议使用Hive/Spark进行数据批量加工,FilkSQL进行数据增量加工。 数据入库 建议使用CDL(增量实时同步)和Loader(批量同步)工具进行数据同步,也可选择HDFS外
ClickHouse数据入库规范 规则 写本地表,查询分布式表,提升写入和查询性能,保证写入和查询的数据一致性。 只有在去重诉求的场景下,可以使用分布式表插入,通过sharding key将要去重的数据转发到同一个shard,便于后续去重查询。 外部模块保证数据导入的幂等性。 C
DBeaver是一个SQL客户端和数据库管理工具。对于关系数据库,使用JDBC API通过JDBC驱动程序与数据库交互。对于其他数据库(NoSQL),使用专有数据库驱动程序。 本章节以DBeaver 7.2.0版本为例,讲解如何使用DBeaver访问MRS HetuEngine。 方案架构 出于管理和信息收
MRS集群部署说明 MRS集群部署方案说明 MRS集群Kerberos认证介绍 MRS集群支持的云服务器规格 父主题: MRS集群规划
配置NFS服务器存储NameNode元数据 操作场景 本章节适用于MRS 3.x及后续版本。 用户在部署集群前,可根据需要规划Network File System(简称NFS)服务器,用于存储NameNode元数据,以提高数据可靠性。 如果您已经部署NFS服务器,并已配置NFS
存比例,小数表示,如0.9表示系统内存的90%。配置不合理可能出现节点OOM导致业务受损。 0.8 4u16G:0.6 8u32G:0.7 16u64G:0.8 32u128G及以上:0.9 是 父主题: ClickHouse数据库调优
Database pg数据库。 WebApp(Oozie) WebApp(Oozie)即Oozie server,可以用内置的Tomcat容器,也可以用外部的,记录的信息比如日志等放在pg数据库中。 Tomcat Tomcat服务器是免费的开放源代码的Web应用服务器。 Hadoop组件
处理该故障。 在告警列表中,查看该告警是否清除。 是,处理完毕。 否,执行4。 查看元数据库是否异常。 联系集群元数据库管理员查看元数据库是否有异常。 是,执行5。 否,执行6。 联系元数据库运维人员修复。元数据恢复正常后在告警列表中查看该告警是否清除。 是,处理完毕。 否,执行6。
文件,HBase中的所有数据文件都可以存储在Hadoop HDFS文件系统上。 HDFS和MapReduce的关系 HDFS是Hadoop分布式文件系统,具有高容错和高吞吐量的特性,可以部署在价格低廉的硬件上,存储应用程序的数据,适合有超大数据集的应用程序。 而MapReduce
执行以下命令登录Hive元数据库: su - omm source $DBSERVER_HOME/.dbservice_profile gsql -p 20051 -U USER -W PASSWD -d hivemeta 执行以下命令可以查看Hive元数据库中的所有元数据表: \d+
ClickHouse数据查询 数据查询规则 禁止select *查询 只查询需要的字段可以减少磁盘io和网络io,提升查询性能。 使用uniqCombined替代distinct uniqCombined对去重逻辑进行了优化,通过近似去重提升十倍查询性能,如果对查询允许有误差,可
使用MySQL客户端连接Doris数据库时,在命令中新增“--enable-cleartext-plugin”,命令如下: mysql --enable-cleartext-plugin -u数据库登录用户 -p数据库登录用户密码 -P数据库连接端口 -hDoris FE实例IP地址 在安装了MySQL
7适配MRS 3.x集群 Sqoop是专为Apache Hadoop和结构化数据库(如关系型数据库)设计的高效传输大量数据的工具。客户需要在MRS中使用sqoop进行数据迁移,MRS旧版本中未自带Sqoop,客户可参考此文档自行安装使用。MRS 3.1.0及之后版本已支持创建集群时勾选Sqoop组件,请创建集群时勾选即可。
检查主备DBServer数据库进程状态。 登录DBService浮动IP所在主机,执行sudo su - root和su - omm命令切换至omm用户,使用cd ${BIGDATA_HOME}/FusionInsight/dbservice/进入DBService服务的安装目录。 执行sh
面。 选择“计算实例 > 创建配置”。 在“基本配置”区域中,选择“所属租户”为用户所关联的租户,配置“实例部署超时时间(秒)”和“实例数量”。 根据实际资源规划配置“Coordinator容器资源配置”、“Worker容器资源配置”以及“高级配置”区域相关参数,参数详情可参考创