-
Kafka源表 - 数据湖探索 DLI
型跨源,并绑定所要使用的Flink弹性资源池。 设置Kafka的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据Kafka的地址测试队列连通性。若能连通,则表示跨源已经绑定成功,否则表示未成功。 参考创建Flink OpenSource作业,创建flink
-
CSS安全集群配置 - 数据湖探索 DLI
单击“安全模式”中的“下载证书”下载安全证书。 使用keytool工具生成keystore和truststore文件。 使用keytool工具生成keystore和truststore文件,其中需要使用到安全集群的安全证书(CloudSearchService.cer),keytool工具还有其他参数,可根据需求设置。
-
用户获取Spark作业委托临时凭证 - 数据湖探索 DLI
用户获取Spark作业委托临时凭证 功能描述 DLI提供了一个通用接口,可用于获取用户在启动Spark作业时设置的委托的临时凭证。该接口将获取到的该作业委托的临时凭证封装到com.huaweicloud.sdk.core.auth.BasicCredentials类中。 获取到的委托的临时认证封装到com
-
产品优势 - 数据湖探索 DLI
云上:OBS。 云下:HDFS。 生态兼容 DLV、永洪BI、帆软。 大数据生态工具。 自定义镜像 支持,满足业务多样性。 无。 工作流调度 DataArts Studio-DLF调度。 自建大数据生态的调度工具,如Airflow。 企业级多租户 基于表的权限管理,可以精细化到列权限。
-
永洪BI添加数据源 - 数据湖探索 DLI
是否允许调用executeQuery接口执行没有返回结果的语句(如DDL)。 “false”表示允许调用。 “true”表示不允许调用。 说明: 当dli.sql.checkNoResultQuery=false时,非查询语句会执行两次。 在“添加数据源配置”页面工具栏中单击“测试连接”,测试通过后,单击
-
创建并提交Spark SQL作业 - 数据湖探索 DLI
OBS上传文件指导,请参见《OBS工具指南》。 针对大文件场景,由于OBS管理控制台对文件大小和数量限制较多,所以推荐使用OBS工具上传大文件,如OBS Browser+或obsutil工具上传。 OBS Browser+是一个比较常用的图形化工具,支持完善的桶管理和对象管理操作。推荐使用此工具创建桶或上传对象。
-
永洪BI制作图表 - 数据湖探索 DLI
滤等,以新建图表为例,单击工具栏中的“新建图表 ”,将其拖入编辑区域,请参见图4。 图4 新建图表 选择“name”作为X变量,“age”作为Y变量,将其直接拖入对应的位置,系统将自动生成对应的柱状图,请参见图5。 图5 生成图表 在“制作图表”页面工具栏中单击“保存”,完成制作图表。
-
聚合函数 - 数据湖探索 DLI
AVG(numeric) 测试语句: SELECT AVG(score) FROM T1; 测试数据和结果 表4 T1 测试数据(score) 测试结果 81 84.0 100 60 95 86 SUM(numeric) 测试语句: SELECT SUM(score) FROM T1; 测试数据和结果
-
Flink jobmanager日志一直报Timeout expired while fetching topic metadata怎么办? - 数据湖探索 DLI
jobmanager日志一直报Timeout expired while fetching topic metadata怎么办? 首先测试地址连通性。 操作方法请参考测试地址连通性。 若果网络不可达,需要先配置网络连通。确保DLI 队列与外部数据源的网络连接性正常。 配置详情请参考配置网络连通。
-
在Spark SQL作业中使用UDF - 数据湖探索 DLI
int b) { return a + b; } } 编写调试完成代码后,通过IntelliJ IDEA工具编译代码并导出Jar包。 单击工具右侧的“Maven”,参考下图分别单击“clean”、“compile”对代码进行编译。 编译成功后,单击“package”对代码进行打包。
-
string - 数据湖探索 DLI
指定的分隔符,当前仅支持单字符分割。 示例 准备测试输入数据 表2 测试源表disSource数据和分隔符 target(STRING) separator (VARCHAR) test-flink - flink - one-two-ww-three - 输入测试SQL语句 create table
-
string - 数据湖探索 DLI
指定的分隔符,当前仅支持单字符分割。 示例 准备测试输入数据 表2 测试源表disSource数据和分隔符 target(STRING) separator (VARCHAR) test-flink - flink - one-two-ww-three - 输入测试SQL语句 create table
-
聚合函数 - 数据湖探索 DLI
AVG(numeric) 测试语句: SELECT AVG(score) FROM T1; 测试数据和结果 表4 T1 测试数据(score) 测试结果 81 84.0 100 60 95 86 SUM(numeric) 测试语句: SELECT SUM(score) FROM T1; 测试数据和结果
-
字符串函数 - 数据湖探索 DLI
FROM T1; 测试数据和结果 表2 测试数据和结果 测试数据(var1) 测试结果(aa) abcde123 8 CHARACTER_LENGTH 功能描述 返回字符串中的字符数量。 语法 INT CHARACTER_LENGTH(a) 参数说明 a:字符串。 示例 测试语句 SELECT
-
字符串函数 - 数据湖探索 DLI
FROM T1; 测试数据和结果 表2 测试数据和结果 测试数据(var1) 测试结果(aa) abcde123 8 CHARACTER_LENGTH 功能描述 返回字符串中的字符数量。 语法 INT CHARACTER_LENGTH(a) 参数说明 a:字符串。 示例 测试语句 SELECT
-
数据湖探索 DLI - 数据湖探索 DLI
查看审计日志 查看监控指标 06 开发 您可以使用客户端或第三方BI工具对接DLI,以及通过DLI跨源连接进行数据分析。 客户端工具操作指导 使用Spark-submit提交作业 使用UDF操作指导 第三方BI工具对接DLI 永洪BI对接DLI 跨源数据分析操作指导 概述 对接HBase
-
字符串函数 - 数据湖探索 DLI
目前path支持如下表达式参考下表表3。 表3 json_path参数支持的表达式 表达式 说明 $ 根对象 [] 数组下标 * 数组通配符 . 取子元素 示例 测试输入数据。 测试数据源kafka,具体消息内容参考如下: {"name":"James","age":24,"gender":"male","grade":{"math":95
-
在Spark SQL作业中使用UDAF - 数据湖探索 DLI
valuator实现UDAFEvaluator接口。 Evaluator需要实现UDAFEvaluator的init、iterate、terminatePartial、merge、terminate这几个函数。 init函数实现接口UDAFEvaluator的init函数。 it
-
修订记录 - 数据湖探索 DLI
SQL作业中使用地理空间函数”。 2023-07-21 下线“使用ODBC提交Spark SQL作业”,您可以参考“ FineBI工具对接DLI Trino”、“PowerBI工具对接DLI Trino”对接DLI Trino。 2023-06-07 Flink Jar作业开发基础样例,补充传参和查看日志的操作指导。
-
字符串函数 - 数据湖探索 DLI
目前path支持如下表达式参考下表表3。 表3 json_path参数支持的表达式 表达式 说明 $ 根对象 [] 数组下标 * 数组通配符 . 取子元素 示例 测试输入数据。 测试数据源kafka,具体消息内容参考如下: "{name:James,age:24,sex:male,grade:{math:95,science:[80