检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
UUID函数 使用该函数产生一个伪随机的唯一通用标识符。 select uuid(); 父主题: SQL函数和操作符
property_name 数据库属性名。 property_value 数据库属性值。 注意事项 DATABASE与SCHEMA两者没有区别,可替换使用,建议使用DATABASE。 “default”为内置数据库,不能创建名为“default”的数据库。 示例 完整的SQL作业
据库,为用户提供海量数据挖掘和分析服务。DLI将Flink作业从数据仓库服务(DWS)中读取数据。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。
作业类型 表类型 数据源 Spark SQL - DWS、RDS、DDS、Redis Flink OpenSource SQL 源表 DWS、RDS、Redis 结果表 DWS、RDS、CSS、Redis 维表 DWS、RDS、Redis 操作步骤 创建跨源认证。 登录DLI管理控制台。
说明 Database DROP DATABASE db1 database.db1的DROP_DATABASE权限 - CREATE TABLE tb1(...) database.db1的CREATE_TABLE权限 - CREATE VIEW v1 database.db1的CREATE_VIEW权限
L”。 登录MRS集群的Manager,下载用户凭据:”系统设置 > 用户管理 ,单击用户名后的”更多 > 下载认证凭据”。 根据用户凭据生成相应的truststore.jks文件,并将用户凭据以及truststore.jks文件传入OBS中。 具体方式请参考客户端SSL加密功能使用说明。
使用Flink Jar写入数据到OBS开发指南 概述 DLI提供了使用自定义Jar运行Flink作业并将数据写入到OBS的能力。本章节JAVA样例代码演示将kafka数据处理后写入到OBS,具体参数配置请根据实际环境修改。 环境准备 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。
“创建作业”:直接在该模板下创建作业,创建完后,系统跳转到“作业管理”下的作业编辑页面。 当前已有的样例模板包括如下场景: 利用地址信息的维表生成订单信息宽表 实时统计每天成交额、订单数和支付人数等指标 统计实时点击量最高的商品 自定义模板 自定义模板列表显示所有的jar作业模板,自定义模板列表参数说明如表
DWS结果表 功能描述 DLI将Flink作业的输出数据输出到数据仓库服务(DWS)中。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。
查看Delta表历史操作记录 命令格式 DESCRIBE HISTORY [database_name.]table_name|DELTA.`obs_path` [LIMIT n] 示例 DESCRIBE HISTORY delta_table0; DESCRIBE HISTORY
库表管理中表的列表页面,表类型为External,存储位置为OBS路径的即代表OBS表。 视图表 视图表(View)是一种虚拟表,它不存储实际的数据,而是根据定义的查询逻辑动态生成数据。视图通常用于简化复杂的查询,或者为不同的用户或应用提供定制化的数据视图。 视图表可以基于一个或多个表创建,提供了一种灵活的方式来展示数据,而不影响底层数据的存储和组织。
该示例是利用Postgres-CDC实时读取RDS PostgreSQL中的数据,并写入到Print结果表中,其具体步骤如下(当前示例使用的数据库引擎版本是RDS PostgreSQL 11.11): 参考增强型跨源连接,根据PostgreSQL所在的虚拟私有云和子网创建相应的增强型跨
SQL作业 适用于使用标准SQL语句进行查询的场景。通常用于结构化数据的查询和分析。 详细操作请参考创建并提交SQL作业。 适用于数据仓库查询、报表生成、OLAP(在线分析处理)等场景。 Flink作业 专为实时数据流处理设计,适用于低时延、需要快速响应的场景。适用于实时监控、在线分析等场景。
认证的MRS安全集群。 Kafka_SSL类型的跨源认证:适用于开启SSL的Kafka。 Password类型的跨源认证:适用于DWS、RDS、DDS、DCS数据源。 SQL语法相关约束限制 表9 SQL语法相关约束限制 限制项 说明 SQL语法限制 不支持在创建DLI表时指定存储路径。
bround bruond函数用于返回一个数值,该数值是按照指定d位小数进行四舍五入运算的结果。 命令格式 bround(DOUBLE a, INT d) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。
量(例如Spark初始化完成后,Flink消费Kafka时过滤掉2小时之前的数据),如果无法对kafka消息进行过滤,则可以考虑先实时接入生成offset,再truncate table ,再历史导入,再开启实时。 图1 初始化操作流程 如果批量初始化前表里已经存在数据且没有truncate
format("hbase").options(map.toMap).load().show() 返回结果: 提交Spark作业 将写好的代码生成jar包,上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 如果MRS
NULL到JSON的转换并不能简单地实现。从独立的NULL进行转换将产生一个SQLNULL,而不是JSON 'null'。不过,在从包含NULL的数组或Map进行转换时,生成的JSON将包含NULL。 在从ROW转换为JSON时,结果是一个JSON数组,而不是一个JSON对象。这是因为对于SQL中的行,位置比名称更重要。
固定精度型 名称 描述 存储空间 取值范围 字面量 DECIMAL 固定精度的十进制数。精度最高支持到38位,但精度小于18位能保障性能最好。 Decimal有两个输入参数: precision:总位数,默认38 scale:小数部分的位数,默认0 说明: 如果小数位为零,即十进制(38
Integer 当前作业返回的结果总条数或insert作业插入的总条数。 database_name 否 String 记录其操作的表所在的数据库名称。类型为Import和Export作业才有“database_name”属性。 table_name 否 String 记录其操作的