检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分析场景。本章节提供从零开始使用Doris操作指导:通过MySQL命令实现创建表,往表中插入数据,修改表,读取表数据,删除表中数据以及删除表的功能。 背景信息 假定这是一张记录用户访问某商品页面行为的表信息,使用MySQL客户端实现业务操作: 创建用户信息表example_tbl。
总览 导入(Load)功能就是将用户的原始数据导入到Doris中。导入成功后,用户即可通过Mysql客户端查询数据。Doris支持多种导入方式。 支持数据源 Doris提供多种数据导入方案,可以针对不同的数据源选择不同的数据导入方式。 Broker Load Stream Load
Shell访问集群 修改集群HBase参数 数据批量导入 HBase冷热分离 使用全局二级索引 扩容集群 重启集群 删除集群 HBase监控集群 HBase审计日志 使用Doris 使用MySQL客户端访问集群 重启集群 删除集群 集群扩容 Doris参数配置 Doris用户管理 Doris角色管理
sec) 删除分区。 mysql> alter table example_db.expamle_range_tbl drop partition p201703; Query OK, 0 rows affected (0.01 sec) 查看分区。 mysql> show partitions
生态丰富:提供丰富的数据同步方式,支持快速加载来自本地、Hadoop、Flink、Spark、Kafka、SeaTunnel等系统中的数据,也可以直接访问MySQL、PostgreSQL、Oracle、S3、Hive、Iceberg、Elasticsearch等系统中的数据而无需数据复制。同时存储在Doris
URL = "jdbc:mysql:loadbalance://" + "[FE1_host]:[FE1_port],[FE2_host]:[FE2_port],[FE3_host]:[FE3_port]/[your_database]?" +
使用Doris 准备弹性云服务 使用MySQL客户端访问集群 Doris MySQL命令简介 父主题: Doris集群管理
RegionServer上的RPC服务器实例数,建议设置为100 ~ 300之间。 hbase.regionserver.metahandler.count 50 -- [1,100] 50 RegionServer中处理优先请求的程序实例的数量,建议设置为20 ~ 100之间。 hbase
Service,简称CSS)中的Elasticsearch搜索引擎来补充全文检索能力。用户在HBase的建表语句中,通过METADATA来定义索引字段的Elasticsearch schema并指定云搜索服务集群的连接地址,在建表时会自动连接云搜索服务集群并在Elasticsearch中创建索引。用户的源数据存储在C
、政府、物流、制造、零售等行业。 CloudTable产品架构 CloudTable产品架构如下图所示: 图1 产品架构 Doris:MySQL生态,易上手,多表复杂分析性能优于传统MPP。 ClickHouse:万列大宽表多维聚合分析,亚秒级响应,全自助分析。 HBase:高并发,毫秒级查询响应。
内网地址:所连接集群的内网地址。 path:证书存放的路径。 端口:FE上的mysql server端口9030。 password:指创建集群时设置的密码。 {path}/certificate.crt:存放下载证书的路径。 开启https后需要使用mysql8及以上客户端。 父主题: Doris集群管理
HBase客户端:1.x版本使用hbase1.x客户端,2.x版本使用hbase2.x客户端。 Doris客户端:普通集群使用开源MySQL客户端,如果是是安全集群使用MySQL8及以上客户端。 ClickHouse客户端:23.x版本使用clickhouse客户端。 安装客户端的操作是否正确
而将Schema定义成大宽表,这种操作对于数据库其实不是那么友好,我们更建议用户采用星型模型。 Schema中字段数比较多, 聚合模型中可能key列比较多, 导入过程中需要排序的列会增加。 维度信息更新会反应到整张表中,而更新的频率直接影响查询的效率。 使用过程中,建议用户尽量使用Star Schema区分维度
容量范围为200~2000GB/节点。 节点数量 选择集群中的节点个数。 支持的节点数范围3个或5个。 图3 BE节点配置 表4 BE节点云存储配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格:
ClickHouse是面向联机分析处理的列式数据库,支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。CloudTable ClickHouse集群管理还有以下功能: ClickHouse集群管理下,用户申请专属集群,按需使用,专属集群
数据迁移同步 数据导入导出 ClickHouse访问RDS MySQL服务 父主题: ClickHouse应用开发指导
400 CloudTable.0136 TSD单元数量不满足要求 TSD单元数量不满足要求。 TSD单元数量为>=2。 400 CloudTable.0138 lemon单元数量参数为空 lemon计算单元数量参数为空。 LEMON单元数量不为空。 备注:此字段废弃。 400 CloudTable
存储规格 节点的存储规格以及容量。 节点数量 节点的数量。 假设您计划购买一个Doris集群,在购买云服务器页面底部,您将看到所需费用的明细,如图2所示。 图2 Doris集群配置费用示例 配置费用将包括以下部分: 节点费用:根据所选节点规格和节点数量计算的费用。 存储费用:根据所选存储规格、容量以及节点数量计算的费用。
e); } } } LOG.info("Exiting testScanData."); } 注意事项 建议Scan时指定StartRow和StopRow,一个有确切范围的Scan,性能会更好些。 可以设置Batch和Caching关键参数。 Batch
ClickHouse集群管理列表简介 登录表格存储服务,在左侧导航树单击集群管理,集群列表中会显示所有的集群,集群数量比较多时,可以采用翻页显示,您可以查看任何状态下的集群。 表1 集群管理列表参数 参数 参数说明 集群名称 集群的名称,创建集群时设置。 高可用 创建ClickH