检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
连接管理概述 Doris的Hive外表自带create catalog能力,通过连接Hive Metastore,或者兼容Hive Metastore的元数据服务自动获取Hive库表信息,并进行表数据查询,从而避免了传统外部数据目录多需要手动映射以及数据迁移的复杂工程。 背景 许多客户的
Hive 创建hive catalog 通过连接Hive Metastore,或者兼容Hive Metastore的元数据服务,Doris可以自动获取Hive的库表信息,并进行数据查询。 除了Hive外,很多其他系统也会使用Hive Metastore存储元数据。所以通过Hive
创建数据库。 create database DB_demo; 使用数据库。 use DB_demo; 创建表。
频繁更新的维度表也可以放在MySQL外部表中。而如果只有少量更新, 可以直接放在Doris中。在Doris中存储维度表时,可对维度表设置更多的副本,提升Join的性能。 父主题: Doris数据表和数据模型
CloudTable数据进行删除,导致索引表和数据表不对应查询异常处理办法? 问题现象 查询CloudTable表内的数据,出现count值和list数据条数不一致的情况,频繁出现数据丢失的问题,项目运行中,还有许多链接超时的情况。 分析原因 删除数据后,导致索引表和数据表不对应,
Doris集群回收站数据处理 那些场景会产生回收站数据? 数据均衡时,仅仅是将高负载磁盘上的tablet拷贝一份到低负载的磁盘,并将原有tablet放入垃圾回收站,并不会物理删除原有tablet,因此产生垃圾文件。 Delete/drop/truncate等操作只是在逻辑上删除了数据
CloudTable HBase存储的是原始数据吗? CloudTable HBase服务存储的是原始数据,支持使用压缩存储,支持的压缩算法有SNAPPY和GZ。CloudTable HBase不会对原始数据做加解密处理,如果需要数据加解密,请在应用程序的业务代码侧实现。 父主题:
type String 集群数据库类型。 请求示例 查询集群详情 URL示例。
CloudTable产品架构 CloudTable产品架构如下图所示: 图1 产品架构 Doris:MySQL生态,易上手,多表复杂分析性能优于传统MPP。 ClickHouse:万列大宽表多维聚合分析,亚秒级响应,全自助分析。 HBase:高并发,毫秒级查询响应。
Doris应用场景 应用场景 报表分析 实时看板(Dashboards)。 面向企业内部分析师和管理者的报表。 面向用户或者客户的高并发报表分析(Customer Facing Analytics)。
databaseName testdb 样例代码工程中需要创建的数据库名称,可以根据实际情况修改。 tableName testtb 样例代码工程中需要创建的表名称,可以根据实际情况修改。 batchRows 10000 一个批次写入数据的条数。
HBase集群写入数据大小不能超过多少? 问题现象 HBase集群大规模并行写入数据时,写入数据到一半卡主,无法写入数据。 原因分析 数据迁移单个请求写入数据太大,导致报错。 处理方法 建议单次写入不超过2M,单条不超过200k。 父主题: 数据读写类
命名规范 【强制】数据库字符集指定utf-8,并且只支持utf-8。 【建议】库名统一使用小写方式,中间用下划线(_)分隔,长度62字节内。 【建议】表名称大小写敏感,统一使用小写方式,中间用下划线(_)分隔,长度64字节内。
SELECT name,partition,active,path FROM system.parts WHERE database = 'default' and table = 'test_table' and active = 1; 图1 查询数据 当前系统时间为2024年6
Count 60 number_of_databases 数据库数量 每个节点数据库数量。 Count 60 number_of_tables 表数量 每个节点本地表数量。
新建角色 角色管理功能提供新增角色、删除角色、查看角色权限、修改角色权限等功能。角色管理支持管理用户对库表数据的权限,包括授权和撤销。 创建角色 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 单击左侧集群管理,显示当前集群列表,选择需要操作的集群,进入角色管理页面
角色管理 角色管理功能提供新增角色、删除角色、查看角色权限、修改角色权限等功能。角色管理支持管理用户对库表数据的权限,包括授权和撤销。 创建角色 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 单击左侧集群管理,显示当前集群列表,选择需要操作的集群,进入角色管理页面
每个导入任务,都有一个在单database内部唯一的label。label是用户在导入命令中自定义的名称。通过这个label,用户可以查看对应导入任务的执行情况。 label的另一个作用,是防止用户重复导入相同的数据。强烈推荐用户同一批次数据使用相同的 label。
select * from ods_demo_detail; 在Doris创建数据库。 create database doris_demo_db; 创建Doris表doris_ods_test_detail。
如何调整数据均衡的灵敏度,调整后有哪些影响? Doris的数据磁盘空间如果不加以控制,会因磁盘写满而导致进程不可写。因此我们监测磁盘的使用率和剩余空间,通过设置不同的警戒水位,来控制Doris系统中的各项操作,尽量避免发生磁盘被写满的情况。 如何调整数据均衡的灵敏度? BE定期(每隔一分钟