检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Presto是一种开源、分布式SQL查询引擎，用于对千兆字节至PB级大小的数据源进行交互式分析查询。 Presto主要特点如下： 多数据源：Presto可以支持Mysql，Hive，JMX等多种Connector。 支持SQL：Presto完全支持ANSI SQL，用户可以直接使用SQL Shell进行查询。
点IP的规则。 Ranger仅支持对接RDS服务MySQL数据库，版本号为：MySQL 5.7.x、MySQL 8.0。 Hive支持对接RDS服务MySQL和PostgreSQL数据库，版本号为：MySQL 5.7.x、MySQL 8.0和PostgreSQL14。 在RDS管
库的Data Change事件，并推送到kafka，再由sink connector推送到大数据生态系统中。 CDL目前支持的数据源有MySQL、PostgreSQL、Hudi、Kafka、ThirdParty-Kafka，目标端支持写入Kafka、Hudi、DWS以及ClickHouse。
数据库表名，用于最终保存传输的数据。 说明： 表名可以使用宏定义，具体请参考Loader算子配置项中使用宏定义。 test 临时表 数据库临时表表名，用于临时保存传输过程中的数据，字段需要和“表名”配置的表一致。 说明： 使用临时表是为了使得导出数据到数据库时，不会在目的表中产生脏数
-3.1.0.mysql.sql MySQL导入sql文件的命令： ./bin/mysql -u username -p -D databasename<hive-schema-3.1.0.mysql.sql 其中： ./bin/mysql：在MySQL安装目录下。 username：登录MySQL的用户名。
图2 添加Doris SQL防御规则 登录安装了MySQL的节点，执行以下命令，连接Doris数据库。 若集群已启用Kerberos认证（安全模式），需先执行以下命令再连接Doris数据库： export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 直接连接FE节点访问Doris数据库：
Hive表数据修改、未新增删除表、未修改已有表的数据结构：此时Hive表已经创建好，仅需迁移Hive存储在HDFS或OBS上的文件即可，请参考使用CDM服务迁移Hadoop数据至MRS集群页面新增数据迁移方式进行数据迁移。 Hive表有新增：请选择“作业管理”的“表/文件迁移”
实例”，查看任一FE实例的IP地址。 用户也可以使用MySQL连接软件或者Doris WebUI界面连接数据库。 执行以下命令创建数据库： create database test_broker_load; use test_broker_load; 执行以下命令创建表并导入OBS数据至表中： CREATE
限进行控制。 使用Ranger管理各组件权限时，如管理hive表权限，在管理控制台或者客户端提交hive作业（操作hive数据表），可能会提示当前用户没有权限，需要在Ranger中给提交作业的用户配置具体数据库或者表权限，以免影响用户使用提交作业功能，具体请参考在Ranger中配
Doris是一个基于MPP架构的高性能、实时的分析型数据库，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。 本文主要通过示例介绍如何快速使用MRS Doris集群进行基本的建表和查询操作。 Doris数据库名和表名区分大小写。 前提条件 已创建包含Doris服务的集群，集群内各服务运行正常。
Metatore的元数据服务，Doris可以自动获取Hive的库表信息，并进行数据查询。 除Hive外，很多其他系统也会使用Hive Metastore存储元数据。通过Hive Catalog，不仅能访问Hive，也能访问使用Hive Metastore作为元数据存储的系统，例如Iceberg、Hudi等。
is FE节点地址，做侵入式修改。 SDK 服务通过MySQL协议与Doris建立连接，部分语言的SDK已经提供了高可用能力，例如MySQL JDBC可以使用自动重试机制，建立连接时通过如下配置设置数据源： jdbc:mysql:loadbalance://[host1][:port]
delete接口删除表中的数据，需要修改为moveToTrash的问题。 解决Spark针对insert overwrite自读自写语法，提供拦截提示功能的问题。 解决Spark需要把.db库加入数据保护黑名单中防止创建表location指定路径到库后导致删表后库数据丢失的问题。
已获取待连接数据库对应的驱动Jar包。 仅数据源MySQL、Oracle（MRS 3.3.0及之后版本支持）需要上传相应的驱动，驱动对应的版本号如表1所示，且驱动需要在MySQL或Oracle官网下载。 表1 MySQL、Oracle数据源支持的驱动 数据源 支持的驱动包 MySQL mysql-connector-java-8
CarbonData表操作并发语法说明 DDL和DML中的操作，执行前，需要获取对应的锁，各操作需要获取锁的情况见表1 操作获取锁一览表，√表示需要获取该锁，一个操作仅在获取到所有需要获取的锁后，才能继续执行。 任意两个操作是否可以并发执行，可以通过如下方法确定：表1两行代表两个操作，这
onnector来说，Map任务分区更均匀，并且不依赖区分列是否有创建索引。 mysql-fastpath-connector：MySQL数据库专用连接器，使用MySQL的mysqldump和mysqlimport工具进行数据的导入导出，相对generic-jdbc-connector来说，导入导出速度更快。
generic-jdbc-connector：参数配置请参见表1。 ftp-connector：参数配置请参见表2。 sftp-connector：参数配置请参见表3。 hdfs-connector：参数配置请参见表4。 oracle-connector：参数配置请参见表5。 mysql-fastpath-connector：参数配置请参见表7。
已创建Doris集群，且集群运行状态正常。 已安装MySQL客户端，相关操作可参考使用MySQL客户端连接Doris。 购买ELB并对接Doris 购买ELB并获取其公网IP地址 详细操作步骤请参考创建共享型负载均衡器。 登录华为云管理控制台，在服务列表中选择“网络 > 弹性负载均衡 ELB”。
实例”，查看任一FE实例的业务IP地址。 用户也可以使用MySQL连接软件或者在Doris WebUI界面连接数据库。 集群未启用Kerberos认证（普通模式） 登录安装了MySQL客户端的节点，使用admin用户连接Doris服务。 mysql -uadmin-PFE查询连接端口 -hDoris
onnector来说，Map任务分区更均匀，并且不依赖分区列是否有创建索引。 mysql-fastpath-connector：MYSQL数据库专用连接器，使用MYSQL的mysqldump和mysqlimport工具进行数据的导入导出，相对generic-jdbc-connector来说，导入导出速度更快。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
