检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志级别默认为INFO,可以通过调整日志打印级别(DEBUG,INFO,WARN,ERROR,FATAL)来显示更详细的信息。可以通过修改log4j.properties文件来实现,如: hbase.root.logger=INFO,console log4j.logger.org.apache.zookeeper=INFO
提供毫秒级随机读写能力,适用于海量(半)结构化、时空、时序数据存储,可被广泛应用于物联网、车联网、金融、智慧城市、气象等行业。 CloudTable提供基于Doris全托管的实时数仓服务,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也可以支持高
面或者集群列表的操作列开启冷热分离。 节点已使用容量占节点总容量的比值超过冷热分存策略设置的比例,数据将被自动移动到冷存储卷。如图片中当热存储卷已使用容量超过80%时,热存储中的数据将被自动的移动到冷存储中。 冷热分离场景下,热盘不支持缩容。 图1 开启冷热分离 修改冷热分离策略
图1 项目隔离模型 Checkpoint 消费检查点。应用程序消费数据时,记录已消费数据的最新序列号作为检查点。当重新消费数据时,可根据此检查点继续消费。 APP 应用程序标识符。当多个应用程序分别消费同一通道的数据时,为区分不同应用程序的消费检查点,使用APP作为标识。 父主题:
一个平台满足统一的数据仓库建设需求,简化繁琐的大数据软件栈。Doris构建的统一数仓,替换了原来由Spark、Hive、Kudu、HBase、Phoenix组成的旧架构,架构大大简化。 数据湖联邦查询:通过外表的方式联邦分析位于Hive中的数据,在避免数据拷贝的前提下,查询性能大幅提升。
集群标识符。 version String 集群版本号。 zookeeper_link String CloudTable集群ZooKeeper的链接地址。例如:cloudtable-3058-zk3-Dqcwuh6R.mycloudtable.com:2181,cloudtable-3058-zk2-TCwkZEie
10:36:00'); 删除数据迁移策略(STORAGE POLICY) DROP STORAGE POLICY testPolicy; 删除数据迁移策略前,请检查关联该策略的所有表是否都已经删除,否则删除数据迁移策略会失败。 删除含数据迁移策略的数据表后,为了保证数据的安全,冷数据在obs桶最
Doris应用开发指导 Doris组件使用规范 建表 数据导入 数据湖分析 通过JDBC方式连接Doris 开发Doris冷热分离应用
'998756','2024-03-25 12:08:00'); -- cold data 查询插入的数据。 查询数据。 select * from test_table FORMAT CSV; 查询数据表分区存储的分区字段名、分区和存储路径。 SELECT name,partition,active
modifyTable(tableName, descriptor); 数据从热存储到冷存储、从冷存储到热存储,需要执行Major Compaction。 数据写入 冷热分离的表与普通表的数据写入方式完全一致,数据会先存储在热存储(超高IO)中。随着时间的推移,如果一行数据满足当前时间-时间列值>COLD_BOU
角色管理 角色管理功能提供新增角色、删除角色、查看角色权限、修改角色权限等功能。角色管理支持管理用户对库表数据的权限,包括授权和撤销。 创建角色 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 单击左侧集群管理,显示当前集群列表,选择需要操作的集群,进入角色管理页面。
冷热分离功能 步骤 代码实现 步骤1:创建自动归档冷数据策略。 请参见自动存储冷数据。 步骤2:数据表关联数据迁移策略。 请参见数据表关联策略。 步骤3:插入数据。 请参见插入数据。 步骤4:查询插入的数据。 请参见查询插入的数据。 父主题: 开发Doris冷热分离应用
uota cluster 创建数据迁移任务 copierCreateTask cluster 枚举数据库信息 copierListDatabaseInfo cluster 枚举集群节点信息 copierListNodeInfo cluster 数据迁移任务详情 copierTaskDetaile
集群被冻结,导致无法使用,如何解冻? 原因分析:当您的账户余额不足导致系统扣费失败时,您的服务资源将会进入保留期,保留期内服务资源将被冻结而无法使用,但资源和数据会为您保留。 处理方法:当集群状态为“已冻结”时,您需要给账户充值以确保账户余额不为0才能解冻,详细操作请参见如何续费?。解冻后,集群状态将恢复为“可用”。
接集群报错。 原因分析 因为创建的是安全集群,用非安全命令连接,所以会报错。 处理方法 方法一:创建ClickHouse安全集群后,使用SSH工具连接,详情请参见使用客户端访问集群章节。 方法二:如果使用HTTPS连接,请参见ClickHouse安全通道>HTTPS连接步骤。 方
当您的账户余额不足导致系统扣费失败时,您的服务资源将会进入保留期,保留期内服务资源将被冻结而无法使用,但资源和数据会为您保留。 保留期内如您仍未给账户充值,则保留期到期后服务资源和数据会被删除,且无法恢复。 在保留期到期之前,您可进行账户充值操作。充值成功后,会优先扣减欠款,并同时解冻服务资源,您可以继续正常使用服务。
SQL语法参考 数据类型 CREATE DATABASE CREATE TABLE DESC查询表结构 CREATE VIEW CREATE MATERIALIZED VIEW INSERT INTO SELETC ALTER TABLE修改表结构 DROP删除表 SHOW显示数据库和表信息
集群监控功能整体分为计算节点指标监控和ZooKeeper指标监控两个模块。在每个模块中用户都可调整监控数据的时间范围:方便查看不同时间的历史数据。也可调整监控数据的时间粒度:方便在不同维度层次查看数据。如果想实时查看监控数据,可以开启自动刷新。平台可按1小时、3小时、12小时、24小时、7天的间隔自动刷新监控图表。
开发思路 表1 开发思路 序号 步骤 代码实现 1 创建HBase表时开启标签索引 请参见创建数据表开启标签索引 2 HBase put写入数据 请参见写入数据 3 查询数据 请参见: 普通查询 抽样查询 分页查询 统计查询 父主题: 开发标签索引应用
将索引添加到有数据的表中。此方法将用户指定的索引添加到表中,并会对已经存在的用户数据创建对应的索引数据,也可先调用该方法生成索引再在存入用户数据的同时生成索引数据。当数据表中存在大量数据时,不建议使用此接口。 删除索引 dropIndices() 仅删除索引,索引元数据与索引数据均会被删