检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouse冷热分离应用 冷热分离概述 使用ClickHouse冷热分离 ClickHouse冷热分离命令简介 父主题: ClickHouse集群管理
fs.obs.endpoint的获取方式见请参见对象存储服务的获取终端节点章节。 查询插入的数据。
Doris冷热分离命令简介 此章节主要介绍CloudTable Doris冷热分离的使用命令。Doris集群基本命令使用请参见Doris MySQL命令简介。 创建数据迁移策略(STORAGE POLICY) CREATE STORAGE POLICY testPolicy PROPERTIES
冷热分离概述 海量大数据场景下,随着业务和数据量的不断增长,数据存储与消耗的资源也日益增长。根据业务系统中用户对不同时期数据的不同使用需求,对膨胀的数据本身进行“冷热”分级管理,不仅可以提高数据分析性能还能降低业务成本。 背景 在数据分析的实际场景中,冷热数据面临着不同的查询频次及响应速度要求
配置并导入样例工程 背景信息 获取ClickHouse开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 操作场景 ClickHouse针对多个场景提供样例工程,帮助客户快速学习ClickHouse工程。 操作步骤 在应用开发环境中,导入代码样例工程到IntelliJ
基本概念 账号 用户注册时的账号,账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户,是云服务的使用人员
ClickHouse用户指南 ClickHouse集群管理 ClickHouse监控集群
HBase用户指南 HBase集群管理 HBase数据批量导入 HBase监控集群 HBase热点自愈 使用全局二级索引
HBase热点自愈 HBase是一个分布式的KV数据库,Region是HBase数据管理的最小单元。如果用户在规划表和设计rowkey不合理,请求过于集中在少量固定Region时,会导致业务压力集中在单节点,造成业务侧可感知的性能下降甚至请求失败。 HBase服务增加了MetricController
典型场景说明 通过典型场景,我们可以快速学习和掌握HBase的开发过程,并且对关键的接口函数有所了解。 场景说明 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,如表1所示,A业务操作流程如下: 创建用户信息表。 在用户信息中新增用户的学历、职称等信息。 根据用户编号查询用户姓名和地址
Doris应用场景 应用场景 报表分析 实时看板(Dashboards)。 面向企业内部分析师和管理者的报表。 面向用户或者客户的高并发报表分析(Customer Facing Analytics)。比如面向网站主的站点分析、面向广告主的广告报表,并发通常要求成千上万的QPS ,查询延时要求亚秒级响应
分区(Partition) 分区用于将数据划分成不同区间,逻辑上可以理解为将原始表划分成了多个子表。可以方便的按分区对数据进行管理。 Partition列可以指定一列或多列,分区列必须为KEY列。多列分区的使用方式在后面多列分区小结介绍。 不论分区列是什么类型,在写分区值时,都需要加双引号
fs.obs.endpoint的获取方式见请参见对象存储服务的获取终端节点章节。
哪些场景会影响数据均衡? Doris运行中,FE节点会监控元数据中各磁盘的负载情况,一旦出现数据不均衡,会立刻将高负载磁盘上的数据拷贝一份至低负载磁盘,直到各磁盘间数据均衡。 哪些场景会影响数据均衡? 频繁写入数据,导致各节点、磁盘的负载一直在变化,容易触发数据均衡。 数据均衡过程中
可以通过修改log4j.properties文件来实现,如: hbase.root.logger=INFO,console log4j.logger.org.apache.zookeeper=INFO #log4j.logger.org.apache.hadoop.fs.FSNamesystem
基本操作 在执行数据导入Stream Load操作之前,必须确保Doris集群的安全组端口开放,即8030和8040端口,否则Stream Load操作将会连接超时。 创建导入 Stream Load通过HTTP协议提交和传输数据。这里通过curl命令展示如何提交导入。
与其他云服务的关系 统一身份认证IAM CloudTable使用统一身份认证服务(Identity and Access Management,简称IAM)实现认证功能。 了解更多IAM的相关信息,请参见统一身份认证服务。 弹性云服务器ECS CloudTable使用弹性云服务器(
Doris用户指南 Doris集群管理 Doris监控集群
修订记录 发布日期 更新特性 2023-6-30 第二次发布。 新增API接口: CloudTable集群管理接口V2 2021-11-25 第一次正式发布。 父主题: 附录
API概览 CloudTable提供的符合RESTful API的设计规范的接口,如表1所示。 表1 接口 接口 功能 API URI 集群管理 创建CloudTable集群 POST /v2/{project_id}/clusters 查询CloudTable集群详情 GET /