-
CREATE FUNCTION语句 - 数据湖探索 DLI
如果该函数已经存在,则不会进行任何操作。 LANGUAGE JAVA|SCALA Language tag 用于指定 Flink runtime 如何执行这个函数。目前,只支持 JAVA, SCALA,且函数的默认语言为 JAVA。 示例 创建一个名为STRINGBACK的函数。 create
-
基础镜像组件说明 - 数据湖探索 DLI
euleros 2.9.3 基础镜像系统组件清单: 表1 基础镜像系统组件 系统组件 版本 python3 3.7.4 pip3 20.1.1 java 1.8.0_242 glibc 2.28-36.oe1 DLI基础镜像组件清单: 表2 DLI基础镜像组件 组件 DLI SPARK 基础镜像
-
资源相关 - 数据湖探索 DLI
资源相关 前提条件 已参考Python SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 上传资源包 您可以使用DLI提供的接口上传资源包,示例代码如下。完整样例代码和依赖包说明请参考:Python SDK概述。 1 2 3 4
-
Spark jar 如何读取上传文件 - 数据湖探索 DLI
get(“filename”)的方式获取。 SparkFiles.get()方法需要spark初始化以后才能调用。 图1 添加其他依赖文件 代码段如下所示 package main.java import org.apache.spark.SparkFiles import org.apache
-
使用Spark-submit提交Spark Jar作业 - 数据湖探索 DLI
配置文件上传到OBS和加载到DLI服务端资源列表。当相关资源文件已经加载到DLI服务资源列表中,可以使用该参数跳过该步骤。 不携带该参数时,默认会上传和加载命令中的所有资源文件到DLI服务中。 all:跳过所有资源文件的上传和加载 app:跳过Spark应用程序文件的上传和加载 deps:跳过所有依赖文件的上传和加载
-
内置依赖包 - 数据湖探索 DLI
Jar写入数据到OBS开发指南。 2020年12月之后创建的新队列才能使用Flink 1.10依赖包。 表5 Flink 1.10依赖包 依赖包名称 bcpkix-jdk15on-1.60.jar esdk-obs-java-3.20.6.1.jar java-xmlbuilder-1
-
服务器:请求dli.xxx,unable to resolve host address, 如何解决? - 数据湖探索 DLI
服务器:请求dli.xxx,unable to resolve host address, 如何解决? 首先使用ping命令测试dli.xxx是否可以访问。 如果dli.xxx可以正常访问,建议下DNS解析是否配置正确。 DLI 不支持跨区域服务,需在一个区域内进行访问。 父主题:
-
在Spark SQL作业中使用UDTF - 数据湖探索 DLI
单击“确定”,完成创建程序包。 图11 创建程序包 创建DLI的UDTF函数。 登录DLI管理控制台,单击“SQL编辑器”,执行引擎选择“spark”,选择已创建的SQL队列和数据库。 图12 选择队列和数据库 在SQL编辑区域输入实际上传Jar包的路径创建UDTF函数,单击“执行”提交创建。
-
Spark作业访问MySQL数据库的方案 - 数据湖探索 DLI
包年/包月队列或按需专属,创建增强型跨源连接,再通过跨源表读取MySQL数据库中的数据,该方案需要用户自行编写java代码或scala代码。 方案2:先使用云数据迁移服务CDM将MySQL数据库中的数据导入OBS桶中,再通过Spark作业读取OBS桶中的数据,如果用户已有CDM集
-
将Spark作业结果存储在MySQL数据库中,缺少pymysql模块,如何使用python脚本访问MySQL数据库? - 数据湖探索 DLI
n脚本访问MySQL数据库? 缺少pymysql模块,可以查看是否有对应的egg包,如果没有,在“程序包管理”页面上传pyFile。具体步骤参考如下: 将egg包上传到指定的OBS桶路径下。 登录DLI管理控制台,单击“数据管理 > 程序包管理”。 在“程序包管理”页面,单击右上角“创建”可创建程序包。
-
Flink Opensource SQL从RDS数据库读取的时间和RDS数据库存储的时间为什么会不一致? - 数据湖探索 DLI
variables like '%time_zone%' 执行结果如下: 图1 执行结果 表1 参数说明 参数 说明 system_time_zone 数据库时区。 这里它指向 'SYSTEM',也就是数据库服务器的系统时间('system_time_zone')。而这个系统时间在这里指向
-
使用Spark Jar作业读取和查询OBS数据 - 数据湖探索 DLI
New > Project”。 图3 新建Project 选择Maven,Project SDK选择1.8,单击“Next”。 图4 新建Project 定义样例工程名和配置样例工程存储路径,单击“Finish”完成工程创建。 图5 创建工程 如上图所示,本示例创建Maven工程名
-
迁移RDS数据至DLI - 数据湖探索 DLI
select * from tabletest; 图1 查询RDS表数据 在DLI上创建数据库和表。 登录DLI管理控制台,选择“SQL编辑器”,在SQL编辑器中“执行引擎”选择“spark”,“队列”选择已创建的SQL队列。 在编辑器中输入以下语句创建数据库,例如当前创建迁移后的D
-
在Spark SQL作业中使用UDF - 数据湖探索 DLI
IDEA,选择“File > New > Project”。 图2 新建Project 选择Maven,Project SDK选择1.8,单击“Next”。 图3 选择Maven 定义样例工程名和配置样例工程存储路径,单击“Finish”完成工程创建。 图4 创建工程 在pom.xml文件中添加如下配置。
-
Flink SQL作业相关问题 - 数据湖探索 DLI
SQL作业中创建表使用EL表达式,作业运行报DLI.0005错误 Flink作业输出流写入数据到OBS,通过该OBS文件路径创建的DLI表查询无数据 Flink SQL作业运行失败,日志中有connect to DIS failed java.lang.IllegalArgumentException: Access
-
使用Flink Jar读写DIS开发指南 - 数据湖探索 DLI
说明: 程序包需提前上传至OBS服务中保存。 只支持选择文件。 Flink Jar所在的OBS路径 分组名称 选择“已有分组”:可选择已有的分组。 选择“创建新分组”:可输入自定义的组名称。 选择“不分组”:不需要选择或输入组名称。 自定义分组或选择已有的分组名称。 图2 创建对应的Flink
-
使用Flink Jar连接开启SASL - 数据湖探索 DLI
source可以在open里引入。 图1 获取kafka source kafka sink可以在initializeState里引入。 图2 获取kafka sink 操作步骤 从Kafka实例的基本信息页面下载SSL证书,解压后将其中的clinet.jks文件上传到OBS。 图3 下载SSL证书
-
快速使用SQL语句查询数据 - 数据湖探索 DLI
1 登录华为云 单击图片可查看原图 Step2 选择队列 步骤 ① 在“总览”页面,单击左侧导航栏中的“SQL编辑器”或SQL作业简介右上角的“创建作业”,可进入“SQL编辑器”页面。 ② 在SQL编辑器页面,选择默认的队列“default”。 说明 该队列为服务默认的共享队列,队
-
(推荐)DLI SDK V3 - 数据湖探索 DLI
本文介绍了DLI服务提供的V3版本的SDK,列举了最新版本SDK的获取地址。 SDK列表 表1提供了DLI云服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址 参考文档 视频指导 Java huaweicloud-sdk-java-v3
-
DLI SDK与API的对应关系 - 数据湖探索 DLI
getFlinkJobDetail - GET /v1.0/{project_id}/streaming/jobs/{job_id} 查询Flink作业执行计划图 getFlinkJobExecuteGraph - GET /v1.0/{project_id}/streaming/jobs/{job_id}/execute-graph