正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
org.postgresql.Driver String jdbc连接驱动,默认为: org.postgresql.Driver。 使用gsjdbc4驱动连接时,加载的数据库驱动类为:org.postgresql.Driver。 使用gsjdbc200驱动连接时,加载的数据库驱动类为:com
org.postgresql.Driver String jdbc连接驱动,默认为: org.postgresql.Driver。 使用gsjdbc4驱动连接时,加载的数据库驱动类为:org.postgresql.Driver。 使用gsjdbc200驱动连接时,加载的数据库驱动类为:com
数据至DLI。 迁移Elasticsearch数据至DLI,具体请参考迁移Elasticsearch数据至DLI。 迁移RDS数据至DLI,具体请参考迁移RDS数据至DLI。 迁移DWS数据至DLI,具体请参考迁移DWS数据至DLI。 数据分析 DLI应用于海量的日志数据分析和大
用户可以在SQL中调用插入Jar包中的自定义函数。 说明: 当子用户在创建作业时,子用户只能选择已经被分配的队列。 当所选择队列的剩余容量不能满足作业需求时,系统会自动扩容,将按照增加的容量计费。当队列空闲时,系统也会自动缩容。 Flink版本 Flink版本是选择作业运行时所使用的Flink的
创建源表 DataGen源表 DWS源表 Hbase源表 JDBC源表 Kafka源表 MySQL CDC源表 Postgres CDC源表 Redis源表 Upsert Kafka源表 FileSystem源表 父主题: 数据定义语句DDL
查看指定数据库 功能描述 查看指定数据库的相关信息,包括数据库名称、数据库的描述等。 语法格式 1 DESCRIBE DATABASE [EXTENDED] db_name; 关键字 EXTENDED:除了显示上述信息外,还会额外显示数据库的属性信息。 参数说明 表1 参数说明
按列GROUP BY 功能描述 按列对表进行分组操作。 语法格式 1 2 SELECT attr_expr_list FROM table_reference GROUP BY col_name_list; 关键字 GROUP BY:按列可分为单列GROUP BY与多列GROUP
数据库相关 创建数据库 DLI提供创建数据库的接口。您可以使用该接口创建数据库,示例代码如下: 1 2 3 4 5 6 7 8 def create_db(dli_client): try: db = dli_client.create_database('db_for_test')
DWS源表 功能描述 DLI将Flink作业从数据仓库服务(DWS)中读取数据。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data
流表JOIN 流与表进行连接操作,从表中查询并补全流字段。目前支持连接RDS表和DCS服务的Redis表。通过ON条件描述查询的Key,并补全表结构的Value字段。 RDS表的数据定义语句请参见创建RDS表。 Redis表的数据定义语句请参见创建Redis表。 语法格式 1 2
配置DLI 队列与公网网络联通 操作场景 本节操作为您提供DLI队列在公网访问场景下网络打通的方法。通过配置SNAT规则,添加到公网的路由信息,可以实现队列到和公网的网络打通。 操作流程 图1 配置DLI队列访问公网流程 步骤1:创建VPC 登录虚拟私有云控制台,创建虚拟私有云。创建的VPC供NAT访问公网使用。
DLI按作业运行所需的计算资源和存储资源计费,与计算引擎版本无关。 如何升级到Flink 1.15版本? 在DLI管理控制台,购买弹性资源池和队列资源,用于提供执行作业所需的计算资源。 在DLI管理控制台,单击“作业管理 > Flink作业”。 在作业管理页面,单击作业操作列的“编辑”,进入作业运行参数编辑页面。
DLI按作业运行所需的计算资源和存储资源计费,与计算引擎版本无关。 如何升级到Flink 1.12版本? 在DLI管理控制台,购买弹性资源池和队列资源,用于提供执行作业所需的计算资源。 在DLI管理控制台,单击“作业管理 > Flink作业”。 在作业管理页面,单击作业操作列的“编辑”,进入作业运行参数编辑页面。
Connector列表 Connector概述 BlackHole ClickHouse DataGen Doris DWS Elasticsearch FileSystem Hbase Hive JDBC Kafka Print Redis Upsert Kafka 父主题: Flink
“表结构模式”可填写需访问的数据库名称,如果填写,后续创建数据集时,刷新表,页面上只可见该数据库下的表。如果不填写,后续创建数据集时,刷新表,页面上会显示所有数据库下的表。创建数据集请参考永洪BI创建数据集。 其他选项不需要填写,也无需勾选“需要登录”选项。 图3 添加数据源配置 表1 数据库连接参数
java样例代码 开发说明 mongo只支持增强型跨源。只能使用包年包月队列。 DDS即文档数据库服务,兼容MongoDB协议。 前提条件 在DLI管理控制台上已完成创建增强跨源连接,并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代
es/{database_name}/users dli:database:showPrivileges √ × 显示数据库 GET /v1.0/{project_id}/databases dli:database:displayDatabase √ × 显示所有数据库 GET
高速队列等场景,提供字符串、哈希、列表、队列、集合结构直接存取,基于内存,可持久化。有关Redis的详细信息,请访问Redis官方网站https://redis.io/。 前提条件 DLI要建立与Redis的增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强
“default”队列,default队列为体验使用,建议重新创建队列。具体队列创建可以参考创建弹性资源池和在弹性资源池中添加队列。 SQL作业只能在队列类型为“SQL队列”下执行。 数据目录 数据目录(Catalog)是元数据管理对象,它可以包含多个数据库。 您可以在DLI中创
自拓展输入流 用户可通过编写代码实现从想要的云生态或者开源生态获取数据,作为Flink作业的输入数据。 语法格式 1 2 3 4 5 6 7 CREATE SOURCE STREAM stream_id (attr_name attr_type (',' attr_name attr_type)*