-
OBS授权 - 数据湖探索 DLI
OBS授权 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 样例代码 用户可以使用OBS授权操作的接口,将OBS桶的操作权限授权给DLI, 用于保存用户作业的数据和作业的运行日志等。 示例代码如下: 1
-
使用JDBC提交作业 - 数据湖探索 DLI
Date 前提条件 在使用JDBC前,需要进行如下操作: 授权。 DLI使用统一身份认证服务(Identity and Access Management,简称IAM)进行精细的企业级多租户管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全地控制华为云资源的访问。
-
使用场景二:配置弹性资源池队列扩缩容策略 - 数据湖探索 DLI
)。默认的扩缩容策略不支持时间段配置修改。 弹性资源池扩缩容策略生效规则为:在任意一个时间段周期内,优先满足所有队列的最小CU数。剩余的CU(弹性资源池最大CU-所有队列的最小CU数之和)则根据配置的优先级顺序分配: 如果队列的优先级不同,根据配置的优先级顺序分配,直到剩余的CU数分配完成。
-
Flink作业详情 - 数据湖探索 DLI
作业出现脏数据时的处理策略。作业配置脏数据策略时显示该参数。 忽略。 抛出异常。 保存。 脏数据转储地址 “脏数据策略”选择“保存”时,保存脏数据的OBS路径。 创建时间 作业创建的具体时间。 更新时间 作业最近一次更新的时间。 查看作业监控 用户可以通过云监控服务(CES)查看作业数据输入输出的详细信息。
-
概述 - 数据湖探索 DLI
融合处理分析服务。用户不需要管理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
-
下载JDBC驱动包 - 数据湖探索 DLI
下载JDBC驱动包 操作场景 JDBC用于连接DLI服务,您可以在Maven获取JDBC安装包,或在DLI管理控制台下载JDBC驱动文件。 (推荐)方式一:在Maven获取JDBC安装包 单击DLI JDBC Driver中获取最新版本的JDBC安装包。 JDBC版本2.X版本功能重构后,仅
-
Flink jobmanager日志一直报Timeout expired while fetching topic metadata怎么办? - 数据湖探索 DLI
metadata怎么办? 首先测试地址连通性。 操作方法请参考测试地址连通性。 若果网络不可达,需要先配置网络连通。确保DLI 队列与外部数据源的网络连接性正常。 配置详情请参考配置网络连通。 父主题: 运维指导
-
Flink Jar作业运行报错,报错信息为Authentication failed - 数据湖探索 DLI
Authentication failed 问题原因 因为账号没有在全局配置中配置服务授权,导致该账号在创建跨源连接访问外部数据时因为权限不足而导致跨源访问失败。 解决方案 登录DLI管理控制台,选择“全局配置 > 服务授权”。 在委托设置页面,按需选择所需的委托权限。 其中“DLI Datasource
-
修改弹性资源池的主机信息 - 数据湖探索 DLI
进入集群信息页面。 选择“组件管理”页签; 单击进入“Zookeeper”服务; 选择“实例”页签,可以查看对应业务IP,可选择任意一个业务IP。 参考修改主机信息修改主机信息。 如果MapReduce服务集群存在多个IP,创建跨源连接时填写其中任意一个业务IP即可。 方法二:通
-
迁移RDS数据至DLI - 数据湖探索 DLI
数据源为云上服务RDS、MRS时,网络互通需满足如下条件: i. CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 ii. CDM集群与云上服务同区域情况下
-
Flink Jar 使用DEW获取访问凭证读写OBS - 数据湖探索 DLI
操作场景 DLI将Flink Jar作业并的输出数据写入到OBS时,需要配置AKSK访问OBS,为了确保AKSK数据安全,您可以用过数据加密服务(Data Encryption Workshop,DEW)、云凭据管理服务(Cloud Secret Management Service,
-
Spark Jar 使用DEW获取访问凭证读写OBS - 数据湖探索 DLI
操作场景 DLI将Spark Jar作业并的输出数据写入到OBS时,需要配置AKSK访问OBS,为了确保AKSK数据安全,您可以用过数据加密服务(Data Encryption Workshop,DEW)、云凭据管理服务(Cloud Secret Management Service,
-
PowerBI工具对接DLI Trino - 数据湖探索 DLI
在所创建的DLI队列管理里查看队列的终端节点服务信息。 在DLI的控制台单击“队列管理”。 找到对应的队列后,单击队列名称前,获取队列的终端节点服务信息。 图3 终端节点服务信息 创建VPC终端节点。 登录VPC终端节点管理控制台。 单击“购买终端节点”。进入“购买终端节点”页面。 服务类型选择“按名称查找服务”。
-
DWS输出流(通过JDBC方式) - 数据湖探索 DLI
台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DWS的更多信息,请参见《数据仓库服务管理指南》。 前提条件 请务必确保您的账户下已在数据仓库服务(DWS)里创建了DWS集群。 如何创建DWS集群,请参考《数据仓库服务管理指南》中“创建集群”章节。 请确保已创建DWS数据库表。
-
有访问OBS对应的桶的权限,但是Spark作业访问时报错 verifyBucketExists on XXXX: status [403] - 数据湖探索 DLI
有访问OBS对应的桶的权限,但是Spark作业访问时报错 verifyBucketExists on XXXX: status [403] 请排查“全局配置 > 作业配置” 对应OBS桶是否被设置为了DLI日志桶,日志桶不能用于DLI的其他业务功能中。 父主题: 作业运维报错
-
FineBI工具对接DLI Trino - 数据湖探索 DLI
单击“购买终端节点”。进入“购买终端节点”页面。 服务类型选择“按名称查找服务”。 在“服务名称栏”输入获取的终端节点服务信息,需去除端口号。 示例: 队列的终端节点服务信息为:xxx.3a715f69-b1b0-45d0-bc4a-d917137bcd08:18090 服务名称栏输入:xxx.3a71
-
使用Flink Jar写入数据到OBS开发指南 - 数据湖探索 DLI
表2 参数说明 参数名 具体含义 举例 bootstrap.servers kafka连接地址 kafka服务IP地址1:9092,kafka服务IP地址2:9092,kafka服务IP地址3:9092 group.id kafka消费组 如当前kafka消费组为test-group
-
产品优势 - 数据湖探索 DLI
DLI完全兼容Apache Spark、Apache Flink生态和接口,是集实时分析、离线分析、交互式分析为一体的Serverless大数据计算分析服务。线下应用可无缝平滑迁移上云,减少迁移工作量。采用批流融合高扩展性框架,为TB~EB级数据提供了更实时高效的多样性算力,可支撑更丰富的大数
-
(推荐)创建Flink OpenSource SQL作业 - 数据湖探索 DLI
注意事项 创建作业提交任务前,建议先开通云审计服务,用于记录与DLI服务相关的操作事件,便于日后的查询、审计和回溯。云审计服务支持的DLI操作列表详见云审计服务支持的DLI操作列表说明。 关于如何开通云审计服务以及如何查看追踪事件,请参考《云审计服务快速入门》。 创建Flink OpenSource
-
导出SQL作业结果 - 数据湖探索 DLI
下: 导出查询结果的操作入口有两个,分别在“SQL作业”和“SQL编辑器”页面。 在“作业管理”>“SQL作业”页面,可单击对应作业“操作”列“更多 > 导出结果”,可导出执行查询后的结果。 在“SQL编辑器”页面,查询语句执行成功后,在“查看结果”页签右侧,单击“导出结果”,可导出执行查询后的结果。