-
插入数据至DWS表 - 数据湖探索 DLI
]; 关键字 SELECT对应关键字说明请参考SELECT基本语句。 参数说明 表1 参数描述 参数 描述 DLI_TABLE 已创建跨源连接的DLI表名称。 DLI_TEST 为包含待查询数据的表。 field1,field2...,field 表“DLI_TEST”中的列值,
-
插入数据至Oracle表 - 数据湖探索 DLI
关键字 SELECT对应关键字说明请参考SELECT基本语句。 参数说明 表1 参数描述 参数 描述 DLI_TABLE 已创建跨源连接的DLI表名称。 DLI_TEST 为包含待查询数据的表。 field1,field2...,field 表“DLI_TEST”中的列值,
-
查询DCS表 - 数据湖探索 DLI
示例 查询表test_redis中的数据。 1 SELECT * FROM test_redis limit 100; 父主题: 跨源连接DCS表
-
上传jar类型分组资源(废弃) - 数据湖探索 DLI
module_name 否 String 资源模块名 module_type 否 String 资源模块类型。 jar:用户jar文件; pyFile:用户python文件; file:用户文件。 表4 details参数说明 参数名称 是否必选 参数类型 说明 create_time 否 Long
-
如何查看Flink作业输出结果? - 数据湖探索 DLI
如何查看Flink作业输出结果? DLI支持将流作业的结果数据输出到DIS上,因此用户需要到DIS上去查看输出结果,详细操作请参见《数据接入服务用户指南》中的“从DIS获取数据”章节。 DLI支持将Flink作业的结果数据输出到RDS上,因此用户需要到RDS上去查看输出结果,详细操作请参见《关系型数据库快速入门》。
-
Flink作业如何进行性能调优 - 数据湖探索 DLI
如果Flink作业对接的是kafka专享版,则可通过云监控服务(CES)进行查看。具体可选择“云服务监控 > 分布式消息服务 > kafka专享版” ,单击“kafka实例名称 > 消费组” ,选择具体的消费组名称,查看消费组的指标信息。 图1 消费组 反压状态 反压状态是通过周期性对taskManager线
-
Hbase源表 - 数据湖探索 DLI
立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 若使用MRS HBase,请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。
-
使用JDBC提交Spark SQL作业 - 数据湖探索 DLI
使用JDBC提交Spark SQL作业 获取服务端连接地址 下载JDBC驱动包 认证 使用JDBC提交作业 JDBC API参考 父主题: SQL作业开发指南
-
Hbase源表 - 数据湖探索 DLI
立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 若使用MRS HBase,请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。
-
SELECT - 数据湖探索 DLI
SELECT 基本语句 排序 分组 连接 子句 别名SELECT 集合运算SELECT WITH...AS CASE...WHEN
-
SQL作业中存在join操作,因为自动广播导致内存不足,作业一直运行中 - 数据湖探索 DLI
sql.autoBroadcastJoinThreshold=-1,具体操作如下: 登录DLI管理控制台,单击“作业管理 > SQL作业”,在对应报错作业的“操作”列,单击“编辑”进入到SQL编辑器页面。 单击“设置”,在参数设置中选择“spark.sql.autoBroadcast
-
修订记录 - 数据湖探索 DLI
Explorer链接。 SQL作业相关API,修改API Explorer链接。 Flink作业相关API,修改API Explorer链接。 Spark作业相关API,修改API Explorer链接。 Flink作业模板相关API,修改API Explorer链接。 增强型跨源连接相关API,修改API
-
创建DWS维表 - 数据湖探索 DLI
创建DWS维表 创建DWS表用于与输入流连接。 前提条件 请务必确保您的账户下已创建了所需的DWS实例。 语法格式 1 2 3 4 5 6 7 8 9 10 11 create table dwsSource ( attr_name attr_type
-
创建JDBC维表 - 数据湖探索 DLI
创建JDBC维表 创建JDBC表用于与输入流连接。 前提条件 请务必确保您的账户下已创建了相应实例。 语法格式 1 2 3 4 5 6 7 8 9 10 11 CREATE TABLE table_id ( attr_name attr_type ('
-
创建DWS维表 - 数据湖探索 DLI
创建DWS维表 创建DWS表用于与输入流连接。 前提条件 请务必确保您的账户下已创建了所需的DWS实例。 语法格式 1 2 3 4 5 6 7 8 9 10 11 create table dwsSource ( attr_name attr_type
-
插入数据至DCS表 - 数据湖探索 DLI
]; 关键字 SELECT对应关键字说明请参考SELECT基本语句。 参数说明 表1 参数描述 参数 描述 DLI_TABLE 已创建跨源连接的DLI表名称。 DLI_TEST 为包含待查询数据的表。 field1,field2...,field 表“DLI_TEST”中的列值,
-
跨源连接RDS表中create - 数据湖探索 DLI
跨源连接RDS表中create_date字段类型是datetime,为什么dli中查出来的是时间戳呢? Spark中没有datetime数据类型,其使用的是TIMESTAMP类型。 您可以通过函数进行转换。 例如: select cast(create_date as string)
-
Flink Jar作业开发指南 - 数据湖探索 DLI
Jar作业开发指南 流生态作业开发指引 Flink Jar作业开发基础样例 使用Flink Jar写入数据到OBS开发指南 使用Flink Jar连接开启SASL_SSL认证的Kafka 使用Flink Jar读写DIS开发指南
-
创建JDBC维表 - 数据湖探索 DLI
创建JDBC维表 创建JDBC表用于与输入流连接。 前提条件 请务必确保您的账户下已创建了相应实例。 语法格式 1 2 3 4 5 6 7 8 9 10 11 CREATE TABLE table_id ( attr_name attr_type ('
-
产品公告 - 数据湖探索 DLI
产品公告 DLI“包年/包月”和“按需计费”计费模式队列和“队列CU时套餐包”下线(EOL)公告 DLI经典型跨源连接下线(EOL)公告 DLI Flink 1.10、Flink1.11版本停止服务(EOS)公告 DLI Spark 2.3.2版本停止服务(EOS)公告 DLI Flink