-
创建增强型跨源连接 - 数据湖探索 DLI
输入长度不能超过64个字符。 dest_vpc_id 是 String 对应服务的vpc的ID。具体请参考《虚拟私有云API参考》。 dest_network_id 是 String 对应服务的子网网络ID,即为需要建立连接的服务所在的子网。具体请参考《虚拟私有云API参考》。 elastic_resource_pools
-
JDBC API参考 - 数据湖探索 DLI
wasNull() get系列方法 DatabaseMetaData API支持的常用方法签名 ResultSet getCatalogs() 在DLI服务中没有Catalog的概念,返回空的ResultSet。 ResultSet getColumns(String catalog, String
-
查询增强型跨源连接 - 数据湖探索 DLI
各个队列创建跨源连接的信息,详细信息请参考表3。 dest_vpc_id 否 String 对应服务的虚拟私有云标识。具体内容可参考《虚拟私有云API参考》。 dest_network_id 否 String 对应服务的子网网络标识。具体内容可参考《虚拟私有云API参考》。 create_time
-
DWS结果表 - 数据湖探索 DLI
postgresql.Driver。该驱动为默认,创建表时可以不填该驱动参数。 例如,使用gsjdbc4驱动连接、upsert模式写入数据到DWS中。 1 2 3 4 5 6 7 8 9 10 11 12 13 create table dwsSink( car_id
-
创建经典型跨源连接 - 数据湖探索 DLI
network_id 是 String 对应服务的子网网络ID,即为需要建立连接的服务所在的子网。 url 是 String 对应服务对外提供的访问url。长度不能超过512个字符。获取方式请参考表4。 tags 否 Array of Objects 队列的标签。具体请参考表3。
-
数据赋权(用户或项目) - 数据湖探索 DLI
赋权给项目时,只可以赋权给相同租户下的相同区域的项目。 关于Tenant Guest权限的介绍和开通方法,详细参见权限策略和《统一身份认证服务 用户指南》中的创建用户组。 调试 您可以在API Explorer中调试该接口。 URI URI格式: PUT /v1.0/{proje
-
查询作业状态 - 数据湖探索 DLI
"select * from t1" } 状态码 状态码如表4所示。 表4 状态码 状态码 描述 200 查询成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: SQL作业相关API
-
查询作业详细信息 - 数据湖探索 DLI
"table_name": "autotest" } 状态码 状态码如表4所示。 表4 状态码 状态码 描述 200 查询成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: SQL作业相关API
-
获取分区信息列表(废弃) - 数据湖探索 DLI
] } } 状态码 状态码如表6所示。 表6 状态码 状态码 描述 200 操作成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: 表相关API(废弃)
-
JDBC - 数据湖探索 DLI
“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource
-
查询所有表(推荐) - 数据湖探索 DLI
table-type 否 String 数据库表类型。包含以下类型: DLI表: MANAGED_TABLE OBS表 : EXTERNAL_TABLE 视图:VIRTUAL_VIEW datasource-type 否 String 数据源类型。包括如下类型: CloudTable CSS DLI
-
(推荐)创建Flink OpenSource SQL作业 - 数据湖探索 DLI
移动到状态图标上查看错误信息,单击可以复制错误信息。根据错误信息解决故障后,重新提交。 其他功能按钮说明如下: 另存为:将新建作业另存为一个新作业。 静态流图:提供静态资源预估功能和流图展示功能。如图5所示。 简化流图: 展示source到sink的数据处理流程。如图4所示。 格式化:对SQL语句进行格式化。
-
DWS维表(不推荐使用) - 数据湖探索 DLI
“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource
-
数据湖探索 DLI - 数据湖探索 DLI
云容器引擎-成长地图 | 华为云 数据湖探索 数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark、Apache Flink、Trino生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器,即开即用。支持标准SQL/Spark
-
关系运算符 - 数据湖探索 DLI
若字符串A与字符串B不相匹配则返回TRUE,否则返回FALSE。若A或B为NULL,则返回NULL。 A RLIKE B BOOLEAN JAVA的LIKE操作,若A或其子字符串与B相匹配,则返回TRUE,否则返回FALSE。若A或B为NULL,则返回NULL。 A REGEXP B
-
数据赋权(用户)(废弃) - 数据湖探索 DLI
被赋权用户所在用户组的所属区域需具有Tenant Guest权限。 关于Tenant Guest权限的介绍和开通方法,详细参见权限策略和《统一身份认证服务 用户指南》中的创建用户组。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: PUT
-
关系运算符 - 数据湖探索 DLI
若字符串A与字符串B不相匹配则返回TRUE,否则返回FALSE。若A或B为NULL,则返回NULL。 A RLIKE B BOOLEAN JAVA的LIKE操作,若A或其子字符串与B相匹配,则返回TRUE,否则返回FALSE。若A或B为NULL,则返回NULL。 A REGEXP B
-
描述表信息(废弃) - 数据湖探索 DLI
table_type 是 String 表类型,包括: “MANAGED”:DLI表。 “EXTERNAL”:OBS表。 “VIEW”:VIEW视图。 data_type 否 String 数据类型,包括“csv”,“parquet”,“orc”,“json”和“avro”。 data_location
-
使用DLI Flink SQL进行电商实时业务数据分析 - 数据湖探索 DLI
根据需要对相应指标进行统计和筛选,并将结果写入到结果表中。 选择所创建的DLI通用队列提交作业。 图18 Flink Opensource SQL作业 等待作业状态会变为“运行中”,单击作业名称,可以查看作业详细运行情况。 图19 作业运行状态 使用Kafka客户端向指定topic发送数据,模拟实时数据流。
-
字符串函数 - 数据湖探索 DLI
"AA~BB~~CC". LPAD(string1, integer, string2) 返回从 string1 靠左填充 string2 到 INT 长度的新字符串。 如果 string1 的长度小于 INT 值,则返回 string1 缩 短为整数字符。 例如 LPAD('hi'