检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发思路 ClickHouse作为一款独立的DBMS系统,使用SQL语言就可以进行常见的操作。开发程序示例中,全部通过clickhouse-jdbc API接口来进行描述。 设置属性:设置连接ClickHouse服务实例的参数属性。 建立连接:建立和ClickHouse服务实例的连接。
Load是一个异步的导入方式,支持的数据源取决于Broker进程支持的数据源。本文为您介绍Broker Load导入的基本原理、基本操作、系统配置以及最佳实践。 适用场景 源数据在Broker可以访问的存储系统中,如HDFS、OBS。 数据量在几十到百GB级别。 基本原理 用户在提交导入任务后,FE会生成对应的P
0; } Python代码样例 # -*- coding: utf-8 -*- # 引入公共模块 import sys import os # 引入Thrift自带模块,如果不存在则需要执行pip install thrift安装 from thrift.transport
的库表信息,并进行数据查询。 除了Hive外,很多其他系统也会使用Hive Metastore存储元数据。所以通过Hive Catalog,我们不仅能访问Hive,也能访问使用Hive Metastore作为元数据存储的系统。 创建。 Hive On OBS CREATE CATALOG
集群被冻结,导致无法使用,如何解冻? 原因分析:当您的账户余额不足导致系统扣费失败时,您的服务资源将会进入保留期,保留期内服务资源将被冻结而无法使用,但资源和数据会为您保留。 处理方法:当集群状态为“已冻结”时,您需要给账户充值以确保账户余额不为0才能解冻,详细操作请参见如何续费?。解冻后,集群状态将恢复为“可用”。
Doris包周期计费操作 如果您需长期使用当前集群,为节省开支,可以将按需购买的集群转为包年/包月计费模式(也称为包周期计费模式)。按需转包年/包月的具体操作,请参见本章节内容。 按需转包年包月 前提条件:集群计费模式是“按需计费”。 按需转包年/包月操作步骤 登录CloudTable管理控制台。
CloudTable集群当前可以修改的HBase参数请参见HBase参数说明。 选中需要修改的参数,在“参数值”列单击。 在修改框中输入新值,单击,系统提示“参数修改为xx成功,请保存本次修改值”,并且修改的参数值后显示红色*。 如果单击,则取消修改。 图1 修改HBase参数 单击参数列
要大规格更改为小规格,建议新建小规格集群,采用数据迁移进行切换。 规格变更过程中,整个集群不可用,变更结束前不能再次变更。 规格变更过程中系统不可用。 一次只支持变更一种类型的节点规格,且变更完成后只生效所选类型的节点规格。 规格变更操作步骤 登录CloudTable管理控制台。
ClickHouse包周期计费操作 如果您需长期使用当前集群,为节省开支,可以将按需购买的集群转为包年/包月计费模式(也称为包周期计费模式)。按需转包年/包月的具体操作,请参见本章节内容。 按需转包年包月 前提条件:集群计费模式是“按需计费”。 按需转包年/包月操作步骤 登录CloudTable管理控制台。
开发环境简介 在进行二次开发时,要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统,推荐Windows 7及以上版本。 安装JDK 开发环境的基本配置。版本要求:1.7或者1.8。考虑到后续版本的兼容性,强烈推荐使用1.8。 说明: 基于安全
ClickHouse集群节点扩容 ClickHouse节点扩容增加集群中计算节点的数量,计算节点的扩容过程,不影响当前系统运行。 余额不足账户无法扩容。 配额不足无法扩容。 zookeeper节点不支持节点扩容。 操作步骤 登录CloudTable管理控制台。 单击集群管理,显示当前集群列表。
Doris的数据磁盘空间如果不加以控制,会因磁盘写满而导致进程不可写。因此我们监测磁盘的使用率和剩余空间,通过设置不同的警戒水位,来控制Doris系统中的各项操作,尽量避免发生磁盘被写满的情况。 如何调整数据均衡的灵敏度? BE定期(每隔一分钟)会向FE汇报一次磁盘使用情况。FE记录这些
Core节点 计算规格:4U16G。 存储规格:高IO,容量400GB/节点。 节点数量:3个。 计费构成分析 用了一段时间后,用户发现云服务器当前规格无法满足业务需要,于2023/03/18 15:30:00对集群扩容,扩容规格如下: 表1 变更计费模式 计费模式 计算规则 付费周期
节点数量:5个。 BE节点 计算规格:8U16G。 存储规格:高IO,容量400GB/节点。 节点数量:3个。 计费构成分析 用了一段时间后,用户发现云服务器当前规格无法满足业务需要,于2023/03/18 15:30:00对集群扩容,扩容规格如下: 表1 变更计费模式 计费模式 计算规则 付费周期
是ClickHouse默认的系统数据库,默认数据库中的系统表记录的是系统的配置、元数据等信息数据。业务在使用ClickHouse的时候,需要指定自己业务的数据库进行连接和使用,业务相关的表创建在自己业务库中,不要将业务表创建在系统数据库中,避免对系统数据库造成不必要的影响。 【规
扩容。一般情况下,可以通过将FE扩展至3个以上实现FE的高可用,且FE节点的扩容过程,不影响当前系统运行。BE节点的扩容过程,不影响当前系统运行以及正在执行的任务,并且不会影响当前系统的性能,数据均衡会自动进行,集群会在几个小时到一天不等的时间内恢复到负载均衡的状态。Doris集
长时间不重启导致系统运行缓慢等情况下,用户需要重启集群。重启操作将有可能会导致正在运行中的业务数据丢失,如果需要执行重启操作,请确定不存在正在运行的业务,所有数据都已经保存。 查询告警:集群运行异常或系统故障时,CloudTable服务会收集故障信息并上报网管系统,维护人员可根据用户提供的告警信息定位问题原因。
Doris集群节点扩容 节点扩容增加集群中FE/BE节点的数量,FE/BE节点的扩容过程,不影响当前系统运行。 节点扩容需要注意以下几点: 扩容后的FE节点个数必须是奇数,3个或5个。 扩容后的BE节点个数为4~100之间。 操作步骤 登录CloudTable管理控制台。 单击集群管理,显示当前集群列表。
xml配置文件,查找相关参数。 vim hive-site.xml catalog中的obs指的是obs桶,不是obs并行文件系统,目前还不支持obs并行文件系统。 父主题: 创建MRS Hive连接
工具的无缝对接。 架构精简:系统只有两个Frontend(FE)和Backend(BE)两个模块,其中FE节点负责用户请求的接入、查询计划的解析、元数据存储及集群管理等工作,BE节点负责数据存储和查询计划的执行,自身就是一个完备的分布式数据库管理系统,用户无需安装任何第三方管控组