检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
生垃圾文件。 Delete/drop/truncate等操作只是在逻辑上删除了数据,并没有进行物理删除,也会产生垃圾文件。 数据文件合并完成后,并没有物理删除旧的数据,产生垃圾文件。 垃圾文件影响 过多垃圾文件,会占用磁盘,影响可用磁盘大小,可能造成有效数据丢失。 垃圾文件本身有
is还提供了丰富的索引结构来加速数据读取与过滤,利用分区分桶裁剪功能,Doris可以支持在线服务业务的超高并发,单节点最高可支持上千QPS。更进一步,Doris结合了向量化执行引擎来充分发挥现代化CPU并行计算能力,辅以智能物化视图技术实现预聚合加速,并可以通过查询优化器同时进行基于规划和基于代价的查询优化。
CU费用:CU单价 x 节点数 平均每小时的费用 计算节点CU费用:1.4(CU单价:元/小时)x 2(节点)x 1小时 = 2.80元 ZooKeeper节点CU费用:1.4(CU单价:元/小时)x 3(节点)x 1小时= 4.20元 磁盘费用: 磁盘单价 x 容量 x 节点 计算节点磁盘费用:0
Doris规格约束 规格 当Doris集群中FE节点故障数大于等于一半或故障BE数量大于等于3时,Doris集群为异常状态。 查询超时时间默认为300秒。如果在300秒内未完成查询,该查询将被Doris系统取消。用户可以使用此参数自定义应用程序的超时时间,并实现类似等待(超时)的阻塞模式。
CU费用:CU单价 x 节点数 平均每小时的费用 FE节点CU费用:2.08(CU单价:元/小时)x 5(节点)x 1小时 = 10.40元 BE节点CU费用:2.08(CU单价:元/小时)x 3(节点)x 1小时= 6.24元 磁盘费用: 磁盘单价 x 容量 x 节点 FE节点磁盘费用:0
取系统的关键信息。 背景信息 处于不可用状态的CloudTable集群节点,无法在云监控中查看其监控指标。当其再次启动或恢复后,即可正常查看。 故障1小时的CloudTable集群节点,云监控服务将默认该节点不存在,并在监控列表中删除,不再对其进行监控,但告警规则需要用户手动清理。
number_of_open_read_files 读文件打开数 clickhouse实例上的读文件打开数。 Count 60 number_of_open_write_files 写文件打开数 clickhouse实例上的写文件打开数。 Count 60 total_file_opens 文件打开总数 clickhouse实例上的文件打开数。
kHouse的各项监控指标。通过查看集群的监控信息可以快速掌握集群的健康状态并及时获取系统的关键信息。 监控功能 集群监控功能整体分为计算节点指标监控和ZooKeeper指标监控两个模块。在每个模块中用户都可调整监控数据的时间范围:方便查看不同时间的历史数据。也可调整监控数据的时
admin、root和default用户是ClickHouse集群中默认的用户,不能删除。 只有用户管理员的密码可以修改,root和默认用户的密码不可修改。 不支持在集群的单节点上创建用户和角色。 给用户A授予表格B的操作权限,当用户A删除数据表B时需要先手动删除授予表格B的操作权限,否则用户C创建的同名表格,用户
单击数据迁移进入数据迁移管理页面。 表1 数据迁移参数说明 参数 说明 任务ID/名称 新建迁移任务ID/名称。 逻辑集群 选取的逻辑集群名称。 源节点 数据存放的节点。 重分布节点 数据分布的节点。 状态/进度 数据分布的状态/进度。 状态:初始化、运行中、已完成。 创建时间 创建数据任务的时间。 执行开始时间
该组件仅对受邀客户开放,公测时间请关注官网动态。 StarRocks架构 StarRocks整体架构如下图所示,FE和BE节点可以水平无限扩展。 图1 StarRocks架构 表1 StarRocks节点及角色说明 名称 说明 Client Application StarRocks兼容MySQL协议,
</dependencies> 使用如下任意一种配置方法配置镜像仓地址(本文提供了如下两种配置方法)。 配置方法一: 在setting.xml配置文件的mirrors节点中添加开源镜像仓地址: <mirror> <id>repo2</id> <mirrorOf>central</mirrorOf>
hive_catalog.DB.test_table; 元数据缓存设置 创建Catalog时可以采用参数file.meta.cache.ttl-second来设置Hive分区文件缓存自动失效时间,也可以将该值设置为0来禁用分区文件缓存,时间单位为:秒。示例如下: CREATE CATALOG
per_broker_scanner, 或者调整导入并发数。具体计算逻辑如下: 本次导入并发数=Math.min(源文件大小/最小处理量,最大并发数,当前BE节点个数) 本次导入单个BE的处理量=源文件大小/本次导入的并发数 其中:最小处理量 min_bytes_per_broker scanner默认为64M
rs_blockcachehitcachingratio 缓存块命中缓存的比率 统计测量对象的缓存块命中缓存的比率。 单位:% 0%~100% 1分钟 rs_blockCacheCountHitPercent 缓存命中比率 统计测量对象的缓存命中比率。 单位:% 0%~100% 1分钟 rs_getavgtime
在显示的“Select File or Directory to Import”对话框中,选择“clickhouse-examples”文件夹中的“pom.xml”文件,单击“OK”。 确认后续配置,单击“Next”,如无特殊需求,使用默认值即可。 选择推荐的JDK版本,单击“Finish”完成导入。
存储规格 选Doris计算节点的磁盘规格、容量。 说明: 选Doris计算节点的磁盘规格、容量: 高IO。 通用型SSD. 超高IO。 极速SSD。 容量范围为200~2000GB/节点。 节点数量 选择集群中的节点个数。 支持的节点数范围3个或者5个。 表4 BE节点配置 参数 参数说明
存储规格 选Clickhouse计算节点的磁盘规格、容量。 支持的存储规格: 高IO。 通用型SSD。 超高IO。 极速型SSD。 容量范围为500~10000GB/节点之间。 节点数量 多节点:选择集群中的节点个数,支持的节点范围为2~20之间。 单节点个数默认为1。 本地SSD(不支持扩容)
HBase:计算规格、存储规格、节点数量。 Doris:计算规格、存储规格、节点数量。 ClickHouse:计算规格、存储规格、节点数量。 HBase:计算规格、存储规格、节点数量。 Doris:计算规格、存储规格、节点数量。 ClickHouse:计算规格、存储规格、节点数量。 变更计费模式
默认支持本地SSD盘。 节点数量 多节点:选择集群中的节点个数,支持的节点范围为2~20之间。 单节点个数默认为1。 图3 ZooKeeper节点 表4 ZooKeeper节点参数说明 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。