-
FineBI工具对接DLI Trino - 数据湖探索 DLI
配置DLI集群的网络连通。 FineBI安装Trino驱动。 配置FineBI对接DLI Trino。 测试连接。 方案优势 大数据分析BI工具提供数据探索能力:FineBI 作为新一代自助大数据分析的 BI 工具,为企业提供多源数据采集,自助探索式分析,多屏解决方案以及企业级管控等一站式企业商业智能解决方案。
-
PowerBI工具对接DLI Trino - 数据湖探索 DLI
创建DLI弹性资源池和队列。 配置DLI集群的网络连通。 PowerBI安装及驱动安装。 配置PowerBI对接DLI Trino。 测试连接。 方案优势 大数据分析BI工具提供数据探索能力:PowerBI可以将数据转换成丰富的图表、表格、地图、仪表盘等多种形式,让数据更加直观、易懂。 华为云
-
使用Spark-submit提交Spark Jar作业 - 数据湖探索 DLI
DLI 客户端工具下载 您可以在DLI管理控制台下载DLI客户端工具。 登录DLI管理控制台。 单击总览页右侧“常用链接”中的“SDK下载”。 在“DLI SDK DOWNLOAD”页面,单击“dli-clientkit-<version>”即可下载DLI客户端工具。 DLI客户
-
Debezium Format - 数据湖探索 DLI
Debezium Format 功能描述 Debezium是一个 CDC(Changelog Data Capture,变更数据捕获)的工具,可以把其他数据库的更改实时流式传输到 Kafka 中。 Debezium 为变更日志提供了统一的格式结构,并支持使用 JSON消息。 Flink
-
Debezium Format - 数据湖探索 DLI
Debezium Format 功能描述 Debezium是一个 CDC(Changelog Data Capture,变更数据捕获)的工具,可以把其他数据库的更改实时流式传输到 Kafka 中。 Debezium 为变更日志提供了统一的格式结构,并支持使用 JSON消息。 Flink
-
Debezium Format - 数据湖探索 DLI
Debezium Format 功能描述 Debezium是一个 CDC(Changelog Data Capture,变更数据捕获)的工具,可以把来自 MySQL、PostgreSQL、Oracle、Microsoft SQL Server 和许多其他数据库的更改实时流式传输到
-
Maxwell Format - 数据湖探索 DLI
Maxwell Format 功能描述 Maxwell是一个CDC(Changelog Data Capture)工具,可以将MySql中的更改实时流式写入到Kafka等流式connector。Maxwell为changelog提供了统一的格式,而且支持使用JSON对消息进行序列化。
-
Canal Format - 数据湖探索 DLI
Canal Format 功能描述 Canal是一个 CDC(ChangeLog Data Capture,变更日志数据捕获)工具,可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式,并支持使用 JSON 或 protobuf序列化消息(Canal
-
DLI SDK简介 - 数据湖探索 DLI
SDK简介 数据湖探索服务软件开发工具包(DLI SDK,Data Lake Insight Software Development Kit)是对DLI服务提供的REST API进行的作业提交的封装,以简化用户的开发工作。用户直接调用DLI SDK提供的接口函数即可实现使用提交DLI SQL和DLI
-
Canal Format - 数据湖探索 DLI
Canal Format 功能描述 Canal是一个 CDC(ChangeLog Data Capture,变更日志数据捕获)工具,可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式,并支持使用 JSON 或 protobuf序列化消息(Canal
-
Canal Format - 数据湖探索 DLI
Canal Format 功能描述 Canal是一个 CDC(ChangeLog Data Capture,变更日志数据捕获)工具,可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式,并支持使用 JSON 或 protobuf序列化消息(Canal
-
测试地址连通性 - 数据湖探索 DLI
在“测试地址连通性”页面填写需要测试的地址。支持域名和ip,可指定端口。 图1 测试地址连通性 单击“测试”。 如果测试地址可连通,页面上将提示地址可达。 如果测试地址不可连通,页面上将提示地址不可达,请检查网络配置后重试。检查网络配置即检查所测试的VPC对等连接或跨源连接是否处于已激活状态。 父主题:
-
使用Flink Jar写入数据到OBS开发指南 - 数据湖探索 DLI
A样例代码演示将kafka数据处理后写入到OBS,具体参数配置请根据实际环境修改。 环境准备 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。 Maven工程的pom.xml文件配置请参考JAVA样例代码(Flink 1.12)中“pom文件配置”说明。
-
初始化DLI客户端 - 数据湖探索 DLI
初始化DLI客户端 使用DLI Python SDK工具访问DLI,需要用户初始化DLI客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)或Token两种认证方式初始化客户端,示例代码如下。完整样例代码和依赖包说明请参考:Python
-
使用Livy提交Spark Jar作业 - 数据湖探索 DLI
接。 DLI Livy工具下载及安装 本次操作下载的DLI Livy版本为apache-livy-0.7.2.0103-bin.tar.gz,后续版本变化请根据实际情况修改。 单击下载链接,获取DLI Livy工具压缩包。 使用WinSCP工具,将获取的工具压缩包上传到准备好的ECS服务器目录下。
-
初始化DLI客户端 - 数据湖探索 DLI
初始化DLI客户端 使用DLI SDK工具访问DLI,需要用户初始化DLI客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)或Token两种认证方式初始化客户端,示例代码如下: 前提条件 已参考Java SDK概述配置Java SDK环境。
-
使用DLI进行电商BI报表分析 - 数据湖探索 DLI
Browser+。下载地址请参考《对象存储服务工具指南》。 安装OBS Browser+。安装步骤请参考《对象存储服务工具指南》。 登录OBS Browser+。OBS Browser+支持AK方式登录,以及授权码登录两种登录方式。登录步骤请参考《对象存储服务工具指南》。 通过OBS Browser+上传数据。
-
SQL作业使用咨询 - 数据湖探索 DLI
用户可以通过dli.sql.job.timeout(单位是秒)参数配置超时时间。 DLI支撑本地测试Spark作业吗? DLI暂不支持本地测试Spark作业,您可以安装DLI Livy工具,通过Livy工具提供的交互式会话能力调测Spark作业。 推荐使用使用Livy提交Spark Jar作业。
-
修订记录 - 数据湖探索 DLI
修订记录 2023-10-09 修改 FineBI工具对接DLI Trino、PowerBI工具对接DLI Trino补充Trino引擎支持的区域。 2023-08-15 修改 FineBI工具对接DLI Trino、PowerBI工具对接DLI Trino补充说明“Trino引擎队列仅支持HTTPS协议的连接方式”。
-
DWS源表 - 数据湖探索 DLI
的增强型跨源,并绑定所要使用的Flink弹性资源池。 设置DWS的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据DWS的地址测试队列连通性。若能连通,则表示跨源已经绑定成功,否则表示未成功。 参考创建Flink OpenSource作业,创建flink