-
入门实践 - 数据湖探索 DLI
场景 操作指导 描述 队列网络联通 配置DLI队列与内网数据源的网络联通 DLI在创建运行作业需要连接外部其他数据源,本节操作介绍队列与外部数据源之间的网络连通方法,如:DLI连接MRS、RDS、CSS、Kafka、DWS时,需要打通DLI和外部数据源之间的网络。 配置DLI 队列与公网网络联通
-
查看DLI的执行SQL记录 - 数据湖探索 DLI
查看DLI的执行SQL记录 场景概述 执行SQL作业过程中需要查看对应的记录。 操作步骤 登录DLI管理控制台。 在左侧导航栏单击“作业管理”>“SQL作业”进入SQL作业管理页面。 输入作业ID或者执行的语句可以筛选所要查看的作业。 父主题: 运维指导
-
SELECT - 数据湖探索 DLI
SELECT 基本语句 排序 分组 连接 子句 别名SELECT 集合运算SELECT WITH...AS CASE...WHEN
-
用户获取Flink作业委托临时凭证 - 数据湖探索 DLI
Flink1.15基础镜像内置了3.1.62版本的huaweicloud-sdk-core。 准备环境 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。 Maven工程的pom.xml文件配置请参考JAVA样例代码中“pom文件配置”说明。 pom文件配置中依赖包
-
Hbase源表 - 数据湖探索 DLI
要序列化和反序列化数据。 Flink的HBase连接器利用HBase(Hadoop) 的工具类org.apache.hadoop.hbase.util.Bytes进行字节数组和Flink数据类型转换。 Flink的HBase连接器将所有数据类型(除字符串外)null值编码成空字节
-
Hbase源表 - 数据湖探索 DLI
要序列化和反序列化数据。 Flink的HBase连接器利用HBase(Hadoop) 的工具类org.apache.hadoop.hbase.util.Bytes进行字节数组和Flink数据类型转换。 Flink的HBase连接器将所有数据类型(除字符串外)null值编码成空字节
-
DWS输出流(通过OBS转储方式) - 数据湖探索 DLI
章节。 该场景作业需要运行在DLI的独享队列上,因此要与DWS集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 语法格式
-
Elasticsearch结果表 - 数据湖探索 DLI
章节。 该场景作业需要运行在DLI的独享队列上,因此要与云搜索服务建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 Fli
-
Hbase结果表 - 数据湖探索 DLI
反序列化数据。 Flink 的 HBase 连接器利用 HBase(Hadoop) 的工具类org.apache.hadoop.hbase.util.Bytes进行字节数组和Flink 数据类型转换。 Flink 的 HBase 连接器将所有数据类型(除字符串外)null值编码成
-
创建Kafka - 数据湖探索 DLI
通过ssl_auth_name关联跨源认证。 Kafka_SSL类型跨源认证支持连接的数据源 Kafka_SSL类型跨源认证支持连接的数据源如表1所示。 表1 Kafka_SSL类型跨源认证支持连接的数据源 作业类型 表类型 数据源 约束与限制 Flink OpenSource SQL
-
Hbase结果表 - 数据湖探索 DLI
反序列化数据。 Flink 的 HBase 连接器利用 HBase(Hadoop) 的工具类org.apache.hadoop.hbase.util.Bytes进行字节数组和Flink 数据类型转换。 Flink 的 HBase 连接器将所有数据类型(除字符串外)null值编码成
-
修订记录 - 数据湖探索 DLI
创建增强型跨源连接,修改tag中value取值说明。 2024-02-29 第三十三次发布。 生成Flink SQL作业的静态流图新增参数flink_version。 提交SQL作业(推荐),修改dli.sql.sqlasync.enabled默认值为true。 创建增强型跨源连接,新增
-
字符串函数 - 数据湖探索 DLI
This is a test String." REGEXP_REPLACE(string1, string2, string3) STRING 用string3代替string1中的符合正则表达式string2的字符串,并返回替换后的string1字符串 例如REGEXP_REPLACE('foobar'
-
Hbase结果表 - 数据湖探索 DLI
HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 若使用MRS HBase,请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。
-
Format概述 - 数据湖探索 DLI
Format概述 Flink 提供了一套与表连接器(table connector)一起使用的表格式(table format)。表格式是一种存储格式,定义了如何把二进制数据映射到表的列上。 Flink 支持以下格式: 表1 Flink支持格式 Formats 支持的Connectors
-
Hbase结果表 - 数据湖探索 DLI
HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 若使用MRS HBase,请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。
-
Hbase源表 - 数据湖探索 DLI
HBase建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 若使用MRS HBase,请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。
-
Flink Jar作业开发指南 - 数据湖探索 DLI
Jar作业开发指南 流生态作业开发指引 Flink Jar作业开发基础样例 使用Flink Jar写入数据到OBS开发指南 使用Flink Jar连接开启SASL_SSL认证的Kafka 使用Flink Jar读写DIS开发指南
-
Flink Jar作业运行报错,报错信息为Authentication failed - 数据湖探索 DLI
Authentication failed 问题原因 因为账号没有在全局配置中配置服务授权,导致该账号在创建跨源连接访问外部数据时因为权限不足而导致跨源访问失败。 解决方案 登录DLI管理控制台,选择“全局配置 > 服务授权”。 在委托设置页面,按需选择所需的委托权限。 其中“DLI Datasource
-
产品公告 - 数据湖探索 DLI
产品公告 DLI“包年/包月”和“按需计费”计费模式队列和“队列CU时套餐包”下线(EOL)公告 DLI经典型跨源连接下线(EOL)公告 DLI Flink 1.10、Flink1.11版本停止服务(EOS)公告 DLI Spark 2.3.2版本停止服务(EOS)公告 DLI Flink