Doris-华为云

表格存储服务 CLOUDTABLE-新建用户:查看权限

查看权限登录表格存储服务管理控制台。单击管理控制台左上角的，选择区域。单击左侧集群管理，显示当前集群列表，选择需要操作的集群，进入用户管理页面。单击操作列“查看权限”，弹出用户权限页面。表2 查看权限参数说明用户名新建的用户名。全局权限查询、插入、更改、创建、删除。各级权限数据库和表：创建的数据库和表。高危权限：创建表、删除表。普通权限：查询、插入、更改。支持查看账户对数据库的操作权限。

表格存储服务 CLOUDTABLE Doris用户管理

数据湖探索 DLI-Doris结果表:注意事项

注意事项创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据集群未启用Kerberos认证（普通模式） Doris的表名是区分大小写。使用cloudTable的doris时，'fenodes'字段值的端口请用8030，如'xx:8030'。同时安全组请放开端口8030，8040，9030。开启HTTPS后，需要在创建表的with子句中添加如下配置参数： 'doris.enable.https' = 'true' 'doris.ignore.https.ca' = 'true' 请在Flink“作业编辑”页面选择“运行参数配置”，选择“开启Checkpoint”，否则会导致Doris结果表无法写入数据，且写入Doris的延时取决于设置的Checkpoint的间隔时间。

数据湖探索 DLI Doris

数据湖探索 DLI-Doris结果表:示例

示例该示例是从Datagen数据源中生成数据，并将结果写入到Doris结果表中。参考增强型跨源连接，在 DLI 上根据Doris所在的虚拟私有云和子网分别创建相应的增强型跨源连接，并绑定所要使用的Flink弹性资源池。参考“修改主机信息”章节描述，在增强型跨源中增加 MRS 的主机信息。设置Doris的安全组，添加入向规则使其对Flink的队列网段放通。分别根据Doris的地址测试队列连通性。如果能连通，则表示跨源已经绑定成功，否则表示未成功。参考测试地址连通性。参考MRS Doris使用指南，创建doris表，创建语句如下： CREATE TABLE IF NOT EXISTS dorisdemo ( `user_id` varchar(10) NOT NULL, `city` varchar(10), `age` int, `gender` int ) DISTRIBUTED BY HASH(`user_id`) BUCKETS 10 参考创建Flink OpenSource作业，创建flink opensource sql作业，输入以下作业脚本，并提交运行。该作业脚本将Datagen作为数据源，将数据写入到Doris作为结果表中。 create table student_datagen_source( `user_id` String NOT NULL, `city` String, `age` int, `gender` int ) with ( 'connector' = 'datagen', 'rows-per-second' = '1', 'fields.user_id.kind' = 'random', 'fields.user_id.length' = '7', 'fields.city.kind' = 'random', 'fields.city.length' = '7' ); CREATE TABLE dorisDemo ( `user_id` String NOT NULL, `city` String, `age` int, `gender` int ) with ( 'connector' = 'doris', 'fenodes' = 'FE_IP:PORT', 'table.identifier' = 'demo.dorisdemo', 'username' = 'dorisUser', 'password' = 'dorisPassword', 'sink.label-prefix' = 'demo', 'sink.enable-2pc' = 'true', 'sink.buffer-count' = '10' ); insert into dorisDemo select * from student_datagen_source 查看doris结果表是否已成功写入数据。 user_id city age gender 50aff04 93406c5 12 1 681a230 1f27d06 16 1 006eff4 3521ded 18 0

数据湖探索 DLI Doris

数据湖探索 DLI-Doris结果表:语法格式

语法格式 create table dorisSource ( attr_name attr_type (',' attr_name attr_type)* ) with ( 'connector' = 'doris', 'fenodes' = 'FE_IP:PORT,FE_IP:PORT,FE_IP:PORT', 'table.identifier' = 'database.table', 'username' = 'dorisUsername', 'password' = 'dorisPassword' );

数据湖探索 DLI Doris

数据湖探索 DLI-Doris结果表:前提条件

前提条件该场景作业需要运行在DLI的独享队列上，因此要与Doris建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。如果使用MRS Doris，请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。集群未启用Kerberos认证（普通模式）使用admin用户连接Doris后，创建具有管理员权限的角色并绑定给用户。

数据湖探索 DLI Doris

表格存储服务 CLOUDTABLE-Doris安全通道:连接客户端

连接客户端安全集群创建后，打开详情页面，下载证书。下载证书后，自定义存放路径。连接集群。 ./mysql -uadmin -h集群内网地址 -P端口 --ssl-ca={path}/certificate.crt --ssl-mode=VERIFY_CA -ppassword 内网地址：所连接集群的内网地址。 path：证书存放的路径。端口：FE上的mysql server端口9030。 password：指创建集群时设置的密码。 {path}/certificate.crt：存放下载证书的路径。开启https后需要使用mysql8及以上客户端。

表格存储服务 CLOUDTABLE Doris集群管理

表格存储服务 CLOUDTABLE-Doris安全通道:下载安全证书

下载安全证书安全集群创建后，打开详情页面，下载证书。下载证书后，自定义存放路径。通过https协议执行样例sql。 curl -X POST -H 'Content-Type: text/plain' --cacert {path}/certificate.crt -uadmin https://host:port/api/query_schema/internal/test_db -d@1.sql 参数描述： certificate.crt：指下载的证书。 -uadmin：集群的用户名，默认admin。 host:port：host指的是内网地址，port指的是https协议端口。 test_db:指定数据库名称。 1.sql：指写入sql语句的文件。 path:证书存放的路径。

表格存储服务 CLOUDTABLE Doris集群管理

MAPREDUCE服务 MRS-CREATE TABLE:使用示例

使用示例创建一个名为table1的普通表： CREATE TABLE example_db.table1 ( k1 TINYINT, k2 DECIMAL(10, 2) DEFAULT "10.5", k3 CHAR(10) COMMENT "string column", k4 INT NOT NULL DEFAULT "1" COMMENT "int column" ) COMMENT "table comment" DISTRIBUTED BY HASH(k1) BUCKETS 32; 创建一个名为table2的分区表。使用event_day列作为分区列，建立3个分区：p201706、p201707、p201708，取值为： p201706：范围为[最小值, 2017-07-01) p201707：范围为[2017-07-01, 2017-08-01) p201708：范围为[2017-08-01, 2017-09-01) 每个分区使用siteid进行哈希分桶，桶数为10。创建表命令如下： CREATE TABLE table2 ( event_day DATE, siteid INT DEFAULT '10', citycode SMALLINT, username VARCHAR(32) DEFAULT '', pv BIGINT SUM DEFAULT '0' ) AGGREGATE KEY(event_day, siteid, citycode, username) PARTITION BY RANGE(event_day) ( PARTITION p201706 VALUES LESS THAN ('2017-07-01'), PARTITION p201707 VALUES LESS THAN ('2017-08-01'), PARTITION p201708 VALUES LESS THAN ('2017-09-01') ) DISTRIBUTED BY HASH(siteid) BUCKETS 10 PROPERTIES("replication_num" = "2"); Doris创建表时限制至少指定2副本，以保证高可用。可以对Table增加上卷表（Rollup）以提高查询性能。表的列的Null属性默认为true，会对查询性能有一定的影响。 Doris表必须指定分桶列。查看表内容： SHOW TABLES; +----------------------+ | Tables_in_example_db | +----------------------+ | table1 | | table2 | +----------------------+ 2 rows in set (0.01 sec) DESC table1; +----------+-------------+------+-------+---------+-------+ | Field | Type | Null | Key | Default | Extra | +----------+-------------+------+-------+---------+-------+ | siteid | int(11) | Yes | true | 10 | | | citycode | smallint(6) | Yes | true | N/A | | | username | varchar(32) | Yes | true | | | | pv | bigint(20) | Yes | false | 0 | SUM | +----------+-------------+------+-------+---------+-------+ 4 rows in set (0.00 sec) DESC table2; +-----------+-------------+------+-------+---------+-------+ | Field | Type | Null | Key | Default | Extra | +-----------+-------------+------+-------+---------+-------+ | event_day | date | Yes | true | N/A | | | siteid | int(11) | Yes | true | 10 | | | citycode | smallint(6) | Yes | true | N/A | | | username | varchar(32) | Yes | true | | | | pv | bigint(20) | Yes | false | 0 | SUM | +-----------+-------------+------+-------+---------+-------+ 5 rows in set (0.00 sec)

MAPREDUCE服务 MRS Doris常见SQL语法说明

MAPREDUCE服务 MRS-CREATE TABLE:基本语法

基本语法 CREATE TABLE [IF NOT EXISTS] [database.]table ( column_definition_list, [index_definition_list] ) [engine_type] [keys_type] [table_comment] [partition_info] distribution_desc [rollup_list] [properties] [extra_properties]

MAPREDUCE服务 MRS Doris常见SQL语法说明

MAPREDUCE服务 MRS-使用MySQL客户端连接Doris:操作步骤

操作步骤以root用户登录待安装MySQL客户端的节点。执行以下命令查看MySQL客户端依赖库ncurses-libs的版本： rpm -qa | grep ncurses 从https://downloads.mysql.com/archives/community/下载MySQL客户端对应的软件包，建议安装8.x版本，以Red Hat发行版本为例：如果2的依赖库是6.x建议下载对应OS Version为Red Hat 8的MySQL软件包。如果2的依赖库是5.x建议下载对应OS Version为Red Hat 7的MySQL软件包。例如需安装的MySQL 8.0.22客户端需下载如下四个软件包：将下载的软件包上传到待安装MySQL客户端的节点上。在上传的文件所在目录执行以下命令，安装MySQL客户端及对应的依赖包： rpm -ivh mysql-community-client-8.0.22-1.el8.x86_64.rpm --nodeps --force rpm -ivh mysql-community-client-plugins-8.0.22-1.el8.x86_64.rpm --nodeps --force rpm -ivh mysql-community-common-8.0.22-1.el8.x86_64.rpm --nodeps --force rpm -ivh mysql-community-libs-8.0.22-1.el8.x86_64.rpm --nodeps --force 执行以下命令查看MySQL客户端的版本： mysql --version MySQL客户端安装成功后，即可访问Doris，详细操作请参见快速使用Doris。

MAPREDUCE服务 MRS 使用Doris

MAPREDUCE服务 MRS-使用Stream Load方式导入数据至Doris:前提条件

前提条件已创建包含Doris服务的集群，集群内各服务运行正常。待连接Doris数据库的节点与MRS集群网络互通。创建具有Doris管理权限的用户。集群已启用Kerberos认证（安全模式）在 FusionInsight Manager中创建一个人机用户，例如“dorisuser”，创建一个拥有“Doris管理员权限”的角色绑定给该用户。使用新建的用户dorisuser重新登录FusionInsight Manager，修改该用户初始密码。集群未启用Kerberos认证（普通模式）使用admin用户连接Doris后，创建具有管理员权限的角色并绑定给用户。已安装MySQL客户端，相关操作可参考使用MySQL客户端连接Doris。

MAPREDUCE服务 MRS Doris数据导入

MAPREDUCE服务 MRS-导出Doris查询结果集:示例

示例导出到HDFS 将简单查询结果导出到文件“hdfs://path/to/result.txt”中，并指定导出格式为 CS V。集群已启用Kerberos认证（安全模式） SELECT * FROM example_db.test_export_tbl INTO OUTFILE "hdfs://192.168.67.78:25000/tmp/result_" FORMAT AS CSV PROPERTIES ( "broker.name" = "broker_192_168_67_78", "column_separator" = ",", "line_delimiter" = "\n", "max_file_size" = "100MB", "broker.hadoop.security.authentication" = "kerberos", "broker.kerberos_principal" = "doris/hadoop.hadoop.com@HADOOP.COM", "broker.kerberos_keytab" = "${BIGDATA_HOME}/FusionInsight_Doris_8.3.0/install/FusionInsight-Doris-1.2.3/doris-fe/bin/doris.keytab" ); 集群未启用Kerberos认证（普通模式） SELECT * FROM example_db.test_export_tbl INTO OUTFILE "hdfs://192.168.67.78:25000/tmp/result_" FORMAT AS CSV PROPERTIES ( "broker.name" = "broker_192_168_67_78", "column_separator" = ",", "line_delimiter" = "\n", "max_file_size" = "100MB", "broker.username"="hdfs", "broker.password"="" ); 导出到本地文件导出到本地文件时需要先在“fe.conf”中配置enable_outfile_to_local=true。 select * from tbl1 limit 10 INTO OUTFILE "file:///home/work/path/result_";

MAPREDUCE服务 MRS Doris数据分析

MAPREDUCE服务 MRS-Doris多源数据能力概述:基础概念

基础概念 Internal Catalog Doris原有的Database和Table都将归属于Internal Catalog。Internal Catalog是内置的默认Catalog，用户不可修改或删除。 External Catalog 可以通过CREATE CATA LOG 命令创建一个External Catalog，创建后，可以通过SHOW CATALOGS命令查看已创建的Catalog。切换Catalog 用户登录Doris后，默认进入Internal Catalog，因此默认的数据库使用和之前版本并无差别，可以直接使用SHOW DATABASES，USE DB等命令查看和切换数据库。用户可以通过SWITCH命令切换Catalog，例如： SWITCH internal; SWITCH hive_catalog; 切换后，可以直接通过SHOW DATABASES，USE DB等命令查看和切换对应Catalog中的Database。Doris会自动同步Catalog中的Database和Table。用户可以像使用Internal Catalog一样，对External Catalog中的数据进行查看和访问。当前，Doris只支持对External Catalog中的数据进行只读访问。删除Catalog External Catalog中的Database和Table都是只读的，但是可以删除Catalog（Internal Catalog无法删除）。可以通过DROP CATALOG命令删除一个External Catalog。该操作仅会删除Doris中该Catalog的映射信息，并不会修改或变更任何外部数据目录的内容。 Resource Resource是一组配置的集合。用户可以通过CREATE RESOURCE命令创建一个Resource，之后可以在创建Catalog时使用这个Resource。一个Resource可以被多个Catalog使用，以复用其中的配置。

MAPREDUCE服务 MRS 配置Doris支持多源数据

MAPREDUCE服务 MRS-手动备份Doris数据:数据备份原理介绍

数据备份原理介绍备份操作是将指定表或分区的数据，直接以Doris存储的文件的形式，上传到远端仓库中进行存储。当用户提交Backup请求后，系统内部会做如下操作：快照及快照上传备份都是对快照进行操作，快照阶段会对指定的表或分区数据文件进行快照。快照只是对当前数据文件产生一个硬链，耗时较少。快照后，对表进行的更改、导入等操作都不再影响备份的结果。快照完成后，系统会开始对这些快照文件进行逐一上传，由各个Backend并发完成。元数据准备及上传数据文件快照上传完成后，Frontend会首先将对应元数据写成本地文件，然后通过Broker将本地元数据文件上传到远端仓库，完成备份作业操作。如果备份的表是动态分区表，备份之后会自动禁用动态分区属性，在执行数据恢复操作前需手动将该表的动态分区属性启用，命令为： ALTER TABLE tbl1 SET ("dynamic_partition.enable"="true") 数据备份操作不会保留表的colocate_with属性。

MAPREDUCE服务 MRS Doris运维管理

MAPREDUCE服务 MRS-手动备份Doris数据:前提条件

前提条件已创建包含Doris服务的集群，集群内各服务运行正常。待连接Doris数据库的节点与MRS集群网络互通。已安装MySQL客户端，相关操作可参考使用MySQL客户端连接Doris章节。创建具有Doris管理权限的用户。集群已启用Kerberos认证（安全模式）在FusionInsight Manager中创建一个人机用户，例如“dorisuser”，创建一个拥有“Doris管理员权限”的角色绑定给该用户。使用新建的用户dorisuser重新登录FusionInsight Manager，修改该用户初始密码。集群未启用Kerberos认证（普通模式）使用admin用户连接Doris后，创建具有管理员权限的角色并绑定给用户。

MAPREDUCE服务 MRS Doris运维管理

云服务器内容精选

Doris

7*24

备案

专业服务

退订

建议反馈

售前咨询热线