-
DLI SDK功能矩阵 - 数据湖探索 DLI
DLI SDK功能矩阵 SDK开发指南指导您如何安装和配置开发环境、如何通过调用DLI SDK提供的接口函数进行二次开发。 Java、Python SDK功能矩阵请参见表1 表1 SDK功能矩阵 语言 功能 内容 Java OBS授权 介绍将OBS桶的操作权限授权给DLI的Java
-
Java开发环境配置 - 数据湖探索 DLI
-version,可以检查版本信息。 操作步骤 安装JDK。从Oracle官网下载并安装JDK1.8版本安装包。 配置环境变量,在“控制面板”选择“系统”属性,单击“环境变量”。 选择“系统变量”,新建 “JAVA_HOME 变量”,路径配置为JDK安装路径,例如:“D:\Java\jdk1
-
Flink作业如何保存作业日志 - 数据湖探索 DLI
Flink作业如何保存作业日志 在创建Flink SQL作业或者Flink Jar作业时,可以在作业编辑页面,勾选“保存作业日志”参数,将作业运行时的日志信息保存到OBS。 勾选“保存作业日志”参数后,需配置“OBS桶”参数,选择OBS桶用于保存用户作业日志信息。如果选择的OBS
-
Flink作业推荐配置指导 - 数据湖探索 DLI
次数。 配置“脏数据策略”,依据自身的业务逻辑和数据特征选择忽略、抛出异常或者保存脏数据。 选择“运行队列”。提交并运行作业。 登录云监控服务CES控制台,在“云服务监控”列表中找到“数据湖探索”服务。在Flink作业中找到目标作业,单击“创建告警规则”。 图6 云服务监控 图7
-
Flink jar 如何连接SASL - 数据湖探索 DLI
Flink jar 如何连接SASL_SSL? 使用Flink Jar连接开启SASL_SSL认证的Kafka。 具体操作请参考使用Flink Jar连接开启SASL_SSL认证的Kafka 父主题: Flink Jar作业相关问题
-
Flink作业高可靠推荐配置指导(异常自动重启) - 数据湖探索 DLI
nt恢复”,根据自身业务情况选择重试次数。 配置“脏数据策略”,依据自身的业务逻辑和数据特征选择忽略、抛出异常或者保存脏数据。 选择“运行队列”。提交并运行作业。 登录云监控服务CES控制台,在“云服务监控”列表中找到“数据湖探索”服务。在Flink作业中找到目标作业,单击“创建
-
如何查看Flink作业输出结果? - 数据湖探索 DLI
CloudTable上去查看输出结果,详细操作请参见《表格存储服务用户指南》中的“入门”章节。 DLI支持将Flink作业的结果数据输出到云搜索服务,因此用户需要到云搜索服务上去查看输出结果,详细操作请参见《云搜索服务快速入门》。 DLI支持将Flink作业的结果数据输出到DCS
-
如何在DLI中运行复杂PySpark程序? - 数据湖探索 DLI
合机器学习相关的大数据分析程序。传统上,通常是直接基于pip把Python库安装到执行机器上,对于DLI这样的Serverless化服务用户无需也感知不到底层的计算资源,那如何来保证用户可以更好的运行他的程序呢? DLI服务在其计算资源中已经内置了一些常用的机器学习的算法库(具体可以参考”数据湖探索
-
SQL作业运行慢如何定位 - 数据湖探索 DLI
FullGC问题原因定位和解决: 原因1 小文件过多:当一个表中的小文件过多时,可能会造成Driver内存FullGC。 登录DLI控制台,选择SQL编辑器,在SQL编辑器页面选择问题作业的队列和数据库。 执行以下语句,查看作业中表的文件数量。“表名”替换为具体问题作业中的表名称。 select count(distinct
-
如何实现跨数据源查询 - 数据湖探索 DLI
如何实现跨数据源查询 跨数据源查询步骤如下: 假设数据存放在华为云上多个不同的地方,例如存放在OBS上。 在DLI中创建数据表,数据表对应的位置配置为数据所在的位置,例如OBS的某个桶路径(该数据实际还是在OBS中,不用迁移)。 在DLI中编写SQL直接查询分析这些数据。 父主题:
-
如何查看DLI Spark作业的实际资源使用情况 - 数据湖探索 DLI
如何查看DLI Spark作业的实际资源使用情况 查看Spark作业原始资源配置 登录DLI 控制台,单击左侧“作业管理”>“Spark作业”,在作业列表中找到需要查看的Spark作业,单击“作业ID”前的,即可查看对应Spark作业的原始资源配置参数。 在创建Spark作业时,
-
CSS安全集群配置 - 数据湖探索 DLI
CSS安全集群配置 准备工作 当前CSS服务提供的Elasticsearch 6.5.4或以上集群版本为用户增加了安全模式功能,开启安全模式后,将会为用户提供身份验证、授权以及加密等功能。DLI服务对接CSS安全集群时,需要先进行以下准备工作。 选择CSS Elasticsearch
-
DLI如何进行队列异常监控? - 数据湖探索 DLI
DLI如何进行队列异常监控? DLI为用户提供了作业失败的topic订阅功能。 登录DLI控制台。 单击左侧“队列管理”,进入队列管理页面。 在队列管理页面,单击左上角“创建消息通知主题”进行配置。详细操作请参考《数据湖探索用户指南》。 父主题: 使用咨询
-
如何给子用户授权查看Flink作业? - 数据湖探索 DLI
创建自定义权限”。 为查看DLI Flink作业创建权限策略: 策略名称:可以使用默认名称,也可以自定义。 作用范围:选择“项目级服务”。 策略配置方式:选择“可视化视图”。 策略内容:依次选择“允许”,“数据湖探索”,“dli:jobs:list_all”。 单击“确认”,创建策略。
-
Spark jar 如何读取上传文件 - 数据湖探索 DLI
Spark jar 如何读取上传文件 Spark可以使用SparkFiles读取 –-file中提交上来的文件的本地路径,即:SparkFiles.get("上传的文件名")。 Driver中的文件路径与Executor中获取的路径位置是不一致的,所以不能将Driver中获取到的
-
count函数如何进行聚合 - 数据湖探索 DLI
count函数如何进行聚合 使用count函数进行聚合的正确用法如下: SELECT http_method, count(http_method) FROM apigateway WHERE service_id = 'ecs' Group BY http_method
-
配置DLI 队列与公网网络联通 - 数据湖探索 DLI
步骤4:购买弹性公网IP 在“弹性公网IP”界面,单击“购买弹性公网IP”。 根据界面提示配置参数。 参数填写说明请参考“购买弹性公网IP”。 步骤5:配置NAT网关 创建NAT网关。 登录控制台,在“服务列表”搜索“NAT网关”,进入网络控制台页面。 单击“购买公网NAT网关”,配置NAT网关的相关信息。
-
如何处理作业的OBS Bucket没有授权? - 数据湖探索 DLI
ency中。需要您创建自定义委托,并将委托配置在作业中(使用Flink 1.15和Spark 3.3及以上版本的引擎执行作业时需要配置)。 了解dli_management_agency请参考DLI委托概述。 创建自定义委托并在作业中配置委托的操作步骤请参考自定义DLI委托权限。
-
如何实现跨区域访问数据 - 数据湖探索 DLI
如何实现跨区域访问数据 打通不同区域间的VPC网络,具体请参考《跨区域同账号VPC互通》或《跨区域跨账号VPC互通》。 在DLI中创建增强型跨源链接,绑定队列。具体请参考《增强型跨源连接》。 添加DLI的路由。具体请参考《增强型跨源连接》。 父主题: 跨源分析问题
-
Flink作业如何进行性能调优 - 数据湖探索 DLI
可选择“云服务监控 > 分布式消息服务 > kafka专享版” ,单击“kafka实例名称 > 消费组” ,选择具体的消费组名称,查看消费组的指标信息。 图1 消费组 反压状态 反压状态是通过周期性对taskManager线程的栈信息采样,计算被阻塞在请求输出Buffer的线程比率来确定,默认情况下,比率在0