Doris-华为云

表格存储服务 CLOUDTABLE-使用Doris冷热分离:开启冷热分离步骤

开启冷热分离步骤登录表格存储服务管理控制台。控制台左上角，选择区域。单击左侧“集群管理”，进入集群管理界面。单击集群管理界面右上角的“购买集群”。进入创建集群界面，在集群购买页面选择Doris数据库引擎并勾选是否开启冷热分离按钮，创建后的集群就开启了冷热分离特性。创建集群可以参考创建Doris集群。如果在创建集群的时候未开启冷热分离特性，可在集群详请页面或者集群列表的操作列开启冷热分离。注意使用Doris集群不要长时间处于高负载（高CPU、高内存、高磁盘使用率等）状态，否则影响冷热分离的速率。如果业务需要可进行集群扩容，请参见扩容集群。

表格存储服务 CLOUDTABLE Doris冷热分离应用

MAPREDUCE服务 MRS-使用Broker Load方式导入OBS数据至Doris:前提条件

前提条件已创建包含Doris服务的集群，集群内各服务运行正常。待连接Doris数据库的节点与 MRS 集群网络互通。创建具有Doris管理权限的用户。集群已启用Kerberos认证（安全模式）在 FusionInsight Manager中创建一个人机用户，例如“dorisuser”，创建一个拥有“Doris管理员权限”的角色绑定给该用户。使用新建的用户dorisuser重新登录FusionInsight Manager，修改该用户初始密码。集群未启用Kerberos认证（普通模式）使用admin用户连接Doris后，创建具有管理员权限的角色并绑定给用户。已安装MySQL客户端，相关操作可参考使用MySQL客户端连接Doris。已准备待导入至Doris的数据文件。

MAPREDUCE服务 MRS Doris数据导入

表格存储服务 CLOUDTABLE-冷热分离概述:背景

背景在数据分析的实际场景中，冷热数据面临着不同的查询频次及响应速度要求。而随着历史数据的不断增多，如果我们将所有数据存储在本地，将造成大量的资源浪费。冷热分离特性可将冷热数据分开存储，将冷热数据分别存储在成本不同的存储介质上。热数据提高时效数据的查询速度和响应能力，冷数据降低存储成本。我们还可以根据实际业务需求进行灵活的配置和调整，以满足不同场景的要求。冷热分离一般适用于以下需求场景：数据存储周期长：面对历史数据的不断增加，存储成本也随之增加。冷热数据访问频率及性能要求不同：热数据访问频率高且需要快速响应，而冷数据访问频率低且响应速度要求不高。

表格存储服务 CLOUDTABLE Doris冷热分离应用

表格存储服务 CLOUDTABLE-冷热分离概述:原理介绍

原理介绍创建表：CloudTable Doris通过文件系统在本地数据目录创建目录。写数据：调用文件系统相关功能，生成文件到本地数据目录下。合并数据：定期读取数据文件rowset，判断数据时间戳和时间线。如果当前时间减去写入时间小于TTL设置的值，则文件不移动。如果当前时间减去写入时间大于TTL设置的值，则会在系统后台执行并调用OBS SDK数据写入OBS，随后将本地文件删除。查询数据：用户在表上进行对应的查询时，Doris会根据对应Partition使用的Policy信息找到对应的OBS并行文件系统的相关路径，并根据不同Tablet下的Rowset信息下载查询所需的数据到本地进行运算。

表格存储服务 CLOUDTABLE Doris冷热分离应用

MAPREDUCE服务 MRS-Doris数据模型概述:数据模型的选择建议

数据模型的选择建议因为数据模型在建表时就已经确定，且无法修改。所以，选择一个合适的数据模型非常重要。 Aggregate模型可以通过预聚合，极大地降低聚合查询时所需扫描的数据量和查询的计算量，适合有固定模式的报表类查询场景，但是该模型不适用于count(*)查询。同时因为固定了Value列上的聚合方式，在进行其他类型的聚合查询时，需要考虑语义正确性。 Unique模型针对需要唯一主键约束的场景，可以保证主键唯一性约束。但是无法利用ROLLUP等预聚合带来的查询优势。对于聚合查询有较高性能需求的用户，推荐使用写时合并实现。 Unique模型仅支持整行更新，如果用户既需要唯一主键约束，又需要更新部分列（例如将多张源表导入到一张Doris表的场景），则可以考虑使用Aggregate模型，同时将非主键列的聚合类型设置为REPLACE_IF_NOT_NULL。 Duplicate适合任意维度的Ad-hoc查询。虽然无法利用预聚合的特性，但是不受聚合模型的约束，可以发挥列存模型的优势（只读取相关列，而不需要读取所有Key列）。

MAPREDUCE服务 MRS 使用Doris

MAPREDUCE服务 MRS-Doris数据模型概述:Aggregate模型

Aggregate模型建Aggregate模型表语句示例如下： CREATE TABLE IF NOT EXISTS example_db.example_tbl ( `user_id` LARGEINT NOT NULL COMMENT "用户id", `date` DATE NOT NULL COMMENT "数据灌入日期时间", `city` VARCHAR(20) COMMENT "用户所在城市", `age` SMALLINT COMMENT "用户年龄", `gender` TINYINT COMMENT "用户性别", `last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 00:00:00" COMMENT "用户最后一次访问时间", `cost` BIGINT SUM DEFAULT "0" COMMENT "用户总消费", `max_dwell_time` INT MAX DEFAULT "0" COMMENT "用户最大停留时间", `min_dwell_time` INT MIN DEFAULT "99999" COMMENT "用户最小停留时间" ) AGGREGATE KEY(`user_id`, `date`, `city`, `age`, `gender`) DISTRIBUTED BY HASH(`user_id`) BUCKETS 1 PROPERTIES ( "replication_allocation" = "tag.location.default: 1" ); 当导入数据时，对于Key列相同的行会聚合成一行，而Value列会按照设置的AggregationType进行聚合。 AggregationType目前有以下四种聚合方式： SUM：求和，多行的Value进行累加。 REPLACE：替代，下一批数据中的Value会替换之前导入过的行中的Value。 MAX：保留最大值。 MIN：保留最小值。表中的列按照是否设置了AggregationType，分为Key (维度列) 和Value（指标列）。例如，没有设置AggregationType的，如user_id、date、age等称为Key，而设置了AggregationType的称为Value。

MAPREDUCE服务 MRS 使用Doris

MAPREDUCE服务 MRS-Doris数据模型概述:Unique模型

Unique模型读时合并这类表没有聚合需求，只需保证主键（user_id和username）的唯一性。且Unique模型的读时合并实现完全可以用Aggregate模型中的REPLACE方式替代。建表示例如下： CREATE TABLE IF NOT EXISTS example_db.example_tbl ( `user_id` LARGEINT NOT NULL COMMENT "用户id", `username` VARCHAR(50) NOT NULL COMMENT "用户昵称", `city` VARCHAR(20) COMMENT "用户所在城市", `age` SMALLINT COMMENT "用户年龄", `gender` TINYINT COMMENT "用户性别", `phone` LARGEINT COMMENT "用户电话", `address` VARCHAR(500) COMMENT "用户地址", `register_time` DATETIME COMMENT "用户注册时间" ) UNIQUE KEY(`user_id`, `username`) DISTRIBUTED BY HASH(`user_id`) BUCKETS 1 PROPERTIES ( "replication_allocation" = "tag.location.default: 1" );

MAPREDUCE服务 MRS 使用Doris

MAPREDUCE服务 MRS-Doris数据模型概述:Duplicate模型

Duplicate模型数据既没有主键，也没有聚合需求时，可以使用Duplicate数据模型建表。Duplicate模型数据完全按照导入文件中的数据进行存储，不会有任何聚合。即使两行数据完全相同，也都会保留。而在建表语句中指定的DUPLICATE KEY，只是用来指明底层数据按照指定的列进行排序。建Duplicate模型表语句如下： CREATE TABLE IF NOT EXISTS example_db.example_tbl ( `timestamp` DATETIME NOT NULL COMMENT "日志时间", `type` INT NOT NULL COMMENT "日志类型", `error_code` INT COMMENT "错误码", `error_msg` VARCHAR(1024) COMMENT "错误详细信息", `op_id` BIGINT COMMENT "负责人id", `op_time` DATETIME COMMENT "处理时间" ) DUPLICATE KEY(`timestamp`, `type`, `error_code`) DISTRIBUTED BY HASH(`type`) BUCKETS 1 PROPERTIES ( "replication_allocation" = "tag.location.default: 1" );

MAPREDUCE服务 MRS 使用Doris

MAPREDUCE服务 MRS-配置Doris对接Hive数据源:前提条件

前提条件已创建包含Doris服务的集群，集群内各服务运行正常。待连接Doris数据库的节点与MRS集群网络互通。创建具有Doris管理权限的用户。集群已启用Kerberos认证（安全模式）在FusionInsight Manager中创建一个人机用户，例如“dorisuser”，创建一个拥有“Doris管理员权限”的角色绑定给该用户。使用新建的用户dorisuser重新登录FusionInsight Manager，修改该用户初始密码。集群未启用Kerberos认证（普通模式）使用admin用户连接Doris后，创建具有管理员权限的角色并绑定给用户。已安装MySQL客户端，相关操作可参考使用MySQL客户端连接Doris。如果Doris通过Broker Load跨集群导入数据，需要配置跨集群互信，相关操作可参考配置跨Manager集群互信。

MAPREDUCE服务 MRS 配置Doris支持多源数据

MAPREDUCE服务 MRS-Doris慢查询语句监控:慢查询参数说明

慢查询参数说明表2 慢查询参数说明参数名称参数说明查询id 内部生成的唯一ID。查询语句具体慢查询的SQL语句。开始时间执行慢查询SQL语句的开始时间。结束时间执行慢查询SQL语句的结束时间。数据库慢查询语句中表所在的数据库名称。实例名称仅在“正在进行的慢查询”页签显示，表示执行当前慢SQL查询任务的FE实例节点。占用的内存空间仅在“已经结束的查询”页签显示，执行慢SQL消耗的内存空间大小，单位是字节。查询时长慢查询SQL语句当前累计执行的时间，单位是秒。用户执行慢查询SQL语句的Doris用户。客户端IP 提交该慢查询SQL语句的客户端IP。状态慢查询SQL语句的执行状态，包括：正在运行：正在运行的慢查询SQL语句。已取消：在“正在进行的慢查询”页签中单击慢查询SQL语句“操作”列的“终止”，即可结束对应慢查询SQL语句。已结束：已经正常运行完成的慢查询SQL语句。操作仅在“正在进行的慢查询”页签显示，表示当前查询出来的慢SQL语句，可以单击“终止”结束该慢SQL语句查询。

MAPREDUCE服务 MRS Doris企业级能力增强

MAPREDUCE服务 MRS-Doris慢查询语句监控:操作场景

操作场景 Doris作为一个ROLAP模式的数据库，底层需依赖强大的关系型数据库引擎作为支撑。高并发、聚合查询等是常见的查询场景，但由于MRS Doris不支持慢查询管理，缺少运维监控能力，在实际问题定界过程中无法可视化地获取查询SQL的执行信息。因此需要新增Doris慢查询管理功能来提高Doris的运维监控能力。需开启Doris慢查询功能才能在Manager界面可视化显示并管理Doris慢查询信息。默认情况下，为了减少慢查询对环境资源的影响，Doris慢查询功能是关闭的，可通过配置自定义参数“query_history_enable”开启该功能。该功能仅适用于MRS 3.5.0及之后版本集群。

MAPREDUCE服务 MRS Doris企业级能力增强

MAPREDUCE服务 MRS-管理Doris租户:创建Doris租户

创建Doris租户登录FusionInsight Manager，单击“租户资源”。在“租户资源管理”页面单击，打开添加租户的配置页面，参见表1为租户配置属性。表1 租户参数介绍参数名称描述名称指定当前租户的名称，长度为3~50个字符，可包含数字、字母或下划线（_），但不支持创建仅包含数字的Doris租户名称。根据业务需求规划租户的名称，不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。租户类型选择“叶子租户”。说明：创建Doris租户，租户类型只能选择“叶子租户”。计算资源只创建Doris相关租户时，不选择“Yarn”。存储资源只创建Doris相关租户时，不选择“HDFS”。服务单击“关联服务”，在关联服务配置以下参数并单击“确定”： “服务”：选择“Doris”。 “关联类型”：默认“共享”。以下参数详细说明可参见表1。 “CPU配额权重”：租户占用CPU资源的相对权重，即相对占比，竞争时生效。 “内存限额占比”：租户最大占用内存资源的百分比，如该值设置为“10”，则当前租户在不同BE节点内存可用为：BE可用内存 * 10%。因为Doris存在默认租户normal，占用了90%，所以其他租户可设置上限为10%，若总和超过100%，Doris租户将创建失败。 “并发数”：租户最大可运行查询任务的并发数，超过并发数的查询会进入等待队列。 “队列长度”：租户最大等待执行的查询任务数。 “队列等待时长（毫秒）”：租户等待执行的查询任务的最大等待时长，单位为毫秒。 “开启内存软隔离”：默认关闭内存软隔离。如果开启内存软隔离，在资源充足时，可超额占用限额以外内存，在资源紧张时，才会释放多占用的内存。如果关闭内存软隔离，则该Workload Group为内存硬隔离，超过内存可用限额时，部分SQL将被取消或者拒绝执行。描述配置当前租户的描述信息。单击“确定”，等待界面提示租户创建成功。 Doris租户创建完成后，可以在“租户资源管理”列表中查看并修改租户资源。在FusionInsight Manager页面，选择“租户资源”，在租户列表中选中需要查看的Doris租户，查看租户概述和资源配额。选择“资源”，单击“资源详情”后的，对租户资源进行修改。修改完成后，单击“确定”，返回“资源”页面，展示修改后的资源详情。在“概述”的“资源配额”是静态的，并不是实时刷新，只在加载时更新。因为Doris租户代表的是Workload Group，是对组内任务在单个实例节点的计算资源限制，所以“资源配额”和“图表”都是对指标均值的监控，“图表”每30秒刷新一次。

MAPREDUCE服务 MRS 配置Doris多租户

MAPREDUCE服务 MRS-Doris集群高可用方案概述:SDK

SDK 服务通过MySQL协议与Doris建立连接，部分语言的SDK已经提供了高可用能力，例如MySQL JDBC可以使用自动重试机制，建立连接时通过如下配置设置数据源： jdbc:mysql:loadbalance://[host1][:port],[host2][:port][,[host3][:port]]...[/[database]][?propertyName1=propertyValue1[&propertyName2=propertyValue2]...] 详细内容可参考https://dev.mysql.com/doc/connector-j/en/connector-j-usagenotes-j2ee-concepts-managing-load-balanced-connections.html。

MAPREDUCE服务 MRS 配置Doris高可用功能

MAPREDUCE服务 MRS-数据目录SSD和HDD的配置导致建表时偶现报错:原因分析

原因分析 Doris支持一个BE节点配置多个存储路径，并支持指定路径的存储介质属性，如SSD或HDD。通常情况下，每块盘配置一个存储路径即可。如果“be.conf”中只配置了SSD的介质，而FE中参数“default_storage_medium”默认为HDD，因此建表时会发现没有HDD介质的存储而报错。Doris并不会自动感知存储路径所在磁盘的实际存储介质类型，需要用户在路径配置中显式的表示。“.HDD”和“.SSD”只是用于标识存储目录“相对”的“低速”和“高速”之分，而并不是标识实际的存储介质类型，所以如果BE节点上的存储路径没有介质区别，则无需填写后缀。

MAPREDUCE服务 MRS Doris常见问题

MAPREDUCE服务 MRS-Doris多源数据能力概述:基础概念

基础概念 Internal Catalog Doris原有的Database和Table都将归属于Internal Catalog。Internal Catalog是内置的默认Catalog，用户不可修改或删除。 External Catalog 可以通过CREATE CATA LOG 命令创建一个External Catalog，创建后，可以通过SHOW CATALOGS命令查看已创建的Catalog。切换Catalog 用户登录Doris后，默认进入Internal Catalog，因此默认的数据库使用和之前版本并无差别，可以直接使用SHOW DATABASES，USE DB等命令查看和切换数据库。用户可以通过SWITCH命令切换Catalog，例如： SWITCH internal; SWITCH hive_catalog; 切换后，可以直接通过SHOW DATABASES，USE DB等命令查看和切换对应Catalog中的Database。Doris会自动同步Catalog中的Database和Table。用户可以像使用Internal Catalog一样，对External Catalog中的数据进行查看和访问。当前，Doris只支持对External Catalog中的数据进行只读访问。删除Catalog External Catalog中的Database和Table都是只读的，但是可以删除Catalog（Internal Catalog无法删除）。可以通过DROP CATALOG命令删除一个External Catalog。该操作仅会删除Doris中该Catalog的映射信息，并不会修改或变更任何外部数据目录的内容。 Resource Resource是一组配置的集合。用户可以通过CREATE RESOURCE命令创建一个Resource，之后可以在创建Catalog时使用这个Resource。一个Resource可以被多个Catalog使用，以复用其中的配置。

MAPREDUCE服务 MRS 配置Doris支持多源数据

云服务器内容精选

Doris

7*24

备案

专业服务

退订

建议反馈

售前咨询热线