检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
use集群。 下载客户端和客户端校验文件。 准备弹性云服务。 安装客户端并校验客户端。 建立flink数据库。 create database flink; 使用flink数据库。 use flink; 创建flink.order表。 create table flink.order(order_id
登录表格存储服务管理控制台。 控制台左上角,选择区域。 单击集群管理界面右上角的“购买集群”, 进入创建集群界面,在集群购买页面选择HBase数据库引擎并勾选高级特性中冷热分离,创建后的集群就开启了冷热分离特性。 创建集群可以参考创建HBase集群。 图1 开启冷热分离 父主题: HBase冷热分离
登录表格存储服务管理控制台。 控制台左上角,选择区域。 单击集群管理界面右上角的“购买集群”。 进入创建集群界面,在集群购买页面选择Doris数据库引擎并勾选是否开启冷热分离按钮,创建后的集群就开启了冷热分离特性。 创建集群可以参考创建Doris集群。 如果在创建集群的时候未开启冷热分
INSERT INTO 本章节介绍如何插入数据。 基本语法 标准格式插入数据。 INSERT INTO [db.]table [(c1, c2, c3)] VALUES (v11, v12, v13), (v21, v22, v23), ... 对于存在于表结构中但不存在于插入列
登录表格存储服务管理控制台。 控制台左上角,选择区域。 单击集群管理界面右上角的“购买集群”。 进入创建集群界面,在集群购买页面选择HBase数据库引擎并开启Thrift Server,创建后的集群就开启了Thrift Server。 创建集群可以参考创建HBase集群。 默认关闭Thrift
控制台左上角,选择区域。 进入集群管理界面,单击集群管理界面右上角的“购买集群”。 进入创建集群界面,在集群购买页面选择ClickHouse数据库引擎并开启冷热分离特性,创建后的集群就开启了冷热分离特性。 创建集群可以参考创建ClickHouse集群。 如果在创建集群的时候未开启冷热
重启失败 开启opentsdb失败(此字段只适用于HBase1.3.1版本) datastore Datastore object 创建集群数据库参数。 enable_openTSDB Boolean 是否打开openTSDB特性。 false:不开启 true:开启 备注:此字段只适用于HBase1
我们以最基本的count(*)查询为例: SELECT COUNT(*) FROM table; 在其他数据库中,这类查询都会很快返回结果。因为在实现上,我们可以通过如导入时对行进行计数,保存count的统计信息,或者在查询时仅扫描某一列数据,获得count值的方式,只需很小的开销,即可获得查询
default_cluster ClickHouse逻辑集群名称,保持默认值。 databaseName testdb 样例代码工程中需要创建的数据库名称,可以根据实际情况修改。 tableName testtb 样例代码工程中需要创建的表名称,可以根据实际情况修改。 batchRows
事务操作。导入事务可以保证一批次内的数据原子生效,不会出现部分数据写入的情况。 同时,每个导入任务都会有一个Label。这个Label在数据库(Database)中是唯一的,用于唯一标识一个导入任务。Label可以由用户指定,部分导入功能也会由系统自动生成。 Label是用于保证
大宽表与Star Schema 业务方建表时, 为了和前端业务适配, 往往不对维度信息和指标信息加以区分, 而将Schema定义成大宽表,这种操作对于数据库其实不是那么友好,我们更建议用户采用星型模型。 Schema中字段数比较多, 聚合模型中可能key列比较多, 导入过程中需要排序的列会增加。
'format: json' -T testjson.json https://fe_host:http_port/api/{doris数据库}/doris_testjson01/_stream_load -k 查询数据。 select * from doris_testjson01;
Server IP 如果开启Thrift Server,集群详情页面会显示此字段;如果未开启Thrift Server,集群详情页面不显示此字段。 数据库引擎 HBase。 进入只读模式阈值 当集群存储达到某一阈值后,如果继续向存储写入数据,存储会写满,可能会导致性能以及其他功能问题。因此需
可进行单个删除和批量删除。 当用户与企业项目的关联关系被删除后,该用户将无法管理该企业项目,如需再次使用,需要重新给该用户关联企业项目。 数据库引擎 用于存储、处理和保护数据的核心服务。 通道状态 表示安全通道是否打开。 同时开启安全通道和非安全通道 如果安全通道开启,此按钮不显示,如果安全通道未开启,显示此按钮。
集群访问地址 集群访问的地址,用户可以单击,将访问的链接地址复制到剪切板。 计费模式 显示集群的计费模式。 创建时间 显示集群创建的时间。 数据库引擎 用于存储、处理和保护数据的核心服务。 是否开启Broker进程 是否打开Broker进程,用于给客户做数据导入场景。 是否开启https
per_broker_scanner, 或者调整导入并发数。具体计算逻辑如下: 本次导入并发数=Math.min(源文件大小/最小处理量,最大并发数,当前BE节点个数) 本次导入单个BE的处理量=源文件大小/本次导入的并发数 其中:最小处理量 min_bytes_per_broker scanner默认为64M
建明细类型的表。 聚合模型 建表时,支持定义排序键和指标列,并为指标列指定聚合函数。当多条数据具有相同的排序键时,指标列会进行聚合。在分析统计和汇总数据时,聚合模型能够减少查询时所需要处理的数据,提升查询效率。 更新模型 建表时,支持定义主键和指标列,查询时返回主键相同的一组数据
分区(Partition) 分区用于将数据划分成不同区间,逻辑上可以理解为将原始表划分成了多个子表。可以方便的按分区对数据进行管理。 Partition列可以指定一列或多列,分区列必须为KEY列。多列分区的使用方式在后面多列分区小结介绍。 不论分区列是什么类型,在写分区值时,都需要加双引号。
举一些例子:假设在有10台BE,每台BE一块磁盘的情况下。如果一个表总大小为500MB,则可以考虑4-8个分片。5GB:8-16个分片。50GB:32个分片。500GB:建议分区,每个分区大小在50GB左右,每个分区16-32个分片。5TB:建议分区,每个分区大小在50GB 左右,每个分区16-32个分片。
Hive 创建hive catalog 通过连接Hive Metastore,或者兼容Hive Metastore的元数据服务,Doris可以自动获取Hive的库表信息,并进行数据查询。 除了Hive外,很多其他系统也会使用Hive Metastore存储元数据。所以通过Hive