-
字符串函数 - 数据湖探索 DLI
"AA~BB~~CC". LPAD(string1, integer, string2) 返回从 string1 靠左填充 string2 到 INT 长度的新字符串。 如果 string1 的长度小于 INT 值,则返回 string1 缩 短为整数字符。 例如 LPAD('hi'
-
时间函数 - 数据湖探索 DLI
返回一年中的季度(1 到 4 之间的整数)。相当于 EXTRACT(QUARTER FROM date)。 例如 QUARTER(DATE '1994-09-27') 返回 3。 MONTH(date) BIGINT 从 SQL 日期 date 返回一年中的月份(1 到 12 之间的整数)。相当于
-
查询增强型跨源连接列表 - 数据湖探索 DLI
各个队列创建跨源连接的信息,详细信息请参考表5。 dest_vpc_id 否 String 对应服务的虚拟私有云标识。具体内容可参考《虚拟私有云API参考》。 dest_network_id 否 String 对应服务的子网网络标识。具体内容可参考《虚拟私有云API参考》。 isPrivis 否 Boolean
-
Hbase源表 - 数据湖探索 DLI
开始的毫秒数,long 值。 ARRAY 不支持 MAP/MULTISET 不支持 ROW 不支持 示例 该示例是从HBase数据源中读取数据,并写入到Print结果表中,其具体步骤参考如下(该示例使用的HBase版本1.3.1和2.1.1和2.2.3): 参考增强型跨源连接,在DLI上根据
-
Hbase源表 - 数据湖探索 DLI
开始的毫秒数,long 值。 ARRAY 不支持 MAP/MULTISET 不支持 ROW 不支持 示例 该示例是从HBase数据源中读取数据,并写入到Print结果表中,其具体步骤参考如下(该示例使用的HBase版本1.3.1和2.1.1和2.2.3): 参考增强型跨源连接,在DLI上根据
-
创建表(废弃) - 数据湖探索 DLI
新增表的列。列相关参数请参考表4。data_location为VIEW时可不填写。 select_statement 否 String 创建视图时依赖的查找语句。查找语句中的表需要附加所属数据库,即 “数据库.数据表”格式。data_location为VIEW时填写。 data_type
-
创建Flink SQL作业 - 数据湖探索 DLI
注意事项 创建作业提交任务前,建议先开通云审计服务,用于记录与DLI服务相关的操作事件,便于日后的查询、审计和回溯。云审计服务支持的DLI操作列表详见云审计服务支持的DLI操作列表说明。 关于如何开通云审计服务以及如何查看追踪事件,请参考《云审计服务快速入门》。 创建FLink SQL作业
-
查询所有队列 - 数据湖探索 DLI
String 企业项目ID。0”表示default,即默认的企业项目。关于如何设置企业项目请参考《企业管理用户指南》。 说明: 开通了企业管理服务的用户可设置该参数绑定指定的项目。 cidr_in_vpc 否 String 队列的虚拟私有云(VPC)的网段。例如:10.0.0.0/8~24,172
-
Postgres CDC源表 - 数据湖探索 DLI
使用跨源认证则无需在作业中配置账号和密码。 示例 该示例是利用Postgres-CDC实时读取RDS PostgreSQL中的数据,并写入到Print结果表中,其具体步骤如下(当前示例使用的数据库引擎版本是RDS PostgreSQL 11.11): 参考增强型跨源连接,根据Po
-
Postgres CDC源表 - 数据湖探索 DLI
使用跨源认证则无需在作业中配置账号和密码。 示例 该示例是利用Postgres-CDC实时读取RDS PostgreSQL中的数据,并写入到Print结果表中,其具体步骤如下(当前示例使用的数据库引擎版本是RDS PostgreSQL 11.11): 参考增强型跨源连接,根据Po
-
CREATE TABLE语句 - 数据湖探索 DLI
的数据库一起注册到 metastore 中。使用 db_name.table_name 的表将会被注册到当前执行的 table environment 中的 catalog 且数据库会被命名为 “db_name”;对于 table_name, 数据表将会被注册到当前正在运行的catalog和数据库中。
-
文件系统输出流(推荐) - 数据湖探索 DLI
输出流类型。“type”为“filesystem”,表示输出数据到文件系统。 file.path 是 输出目录,格式为: schema://file.path。 当前schame只支持obs和hdfs。 当schema为obs时,表示输出到对象存储服务OBS。 当schema为hdfs时,表示输出
-
文件系统输出流(推荐) - 数据湖探索 DLI
输出流类型。“type”为“filesystem”,表示输出数据到文件系统。 file.path 是 输出目录,格式为: schema://file.path。 当前schame只支持obs和hdfs。 当schema为obs时,表示输出到对象存储服务OBS。 当schema为hdfs时,表示输出
-
入门指引 - 数据湖探索 DLI
创建ClickHouse、Kafka、DIS、DWS、Redis、SMN、HBase、Elasticsearch及userDefined结果表,用于将Flink作业输出数据写入到该表中。 创建JDBC、DWS、HBase的维表用于与Flink的输入流进行连接。 数据操作语句DML 支持查询、集合操作、窗口函数、JOIN等相关语法操作进行数据分析。
-
配置DLI队列与内网数据源的网络联通 - 数据湖探索 DLI
集群管理”,单击已创建的CSS集群名称,进入到CSS的基本信息页面。 在“基本信息”中获取CSS的“内网访问地址”、“虚拟私有云”、“子网”和“安全组”信息,方便后续操作步骤使用。 DWS 在DWS管理控制台,选择“集群管理”,单击已创建的DWS集群名称,进入到DWS的基本信息页面。 在“基本
-
数据库权限管理 - 数据湖探索 DLI
《权限策略》和《统一身份认证服务用户指南》中的创建用户组。 注意事项 如果需要查看管理员或者其他用户账号下的数据库,需要对当前用户授权(显示权限),具体请参考常用操作与系统权限关系。 数据库和表赋权对象具有层级关系,用户赋予上一层级的权限会自动继承到下一层级对象上,层级关系为:数据库>表>列。
-
审计与日志 - 数据湖探索 DLI
作列表说明。用户开通云审计服务并创建和配置追踪器后,CTS开始记录操作事件用于审计。关于如何开通云审计服务以及如何查看追踪事件,请参考《云审计服务快速入门》中的相关章节。 CTS支持配置关键操作通知。用户可将与IAM相关的高危敏感操作,作为关键操作加入到CTS的实时监控列表中进行
-
创建并提交Flink OpenSource SQL作业 - 数据湖探索 DLI
SQL创建源表、结果表和维表的语法说明和样例指导。 Flink作业样例 提供Flink作业程序开发的样例指导。 使用Flink Jar写入数据到OBS 提供Flink如果将数据处理后写入到OBS的样例代码。 Flink作业相关API 提供Flink相关API的使用说明。
-
CREATE TABLE语句 - 数据湖探索 DLI
发出到目前为止已观察到的最大时间戳的 watermark ,时间戳大于最大时间戳的行被认为没有迟到。 递增时间戳: WATERMARK FOR rowtime_column AS rowtime_column - INTERVAL '0.001' SECOND。 发出到目前为止已观察到的最大时间戳减
-
CREATE TABLE语句 - 数据湖探索 DLI
发出到目前为止已观察到的最大时间戳的 watermark ,时间戳大于最大时间戳的行被认为没有迟到。 递增时间戳: WATERMARK FOR rowtime_column AS rowtime_column - INTERVAL '0.001' SECOND。 发出到目前为止已观察到的最大时间戳减