检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Format 功能描述 Oracle GoldenGate (a.k.a ogg) 是一个实现异构 IT 环境间数据实时数据集成和复制的综合软件包。 该产品集支持高可用性解决方案、实时数据集成、事务更改数据捕获、运营和分析企业系统之间的数据复制、转换和验证。Ogg 为变更日志提供了统一的格式结构,并支持使用
10、Flink1.11版本停止服务(EOS)。 影响 DLI Flink 1.10、Flink1.11版本停止服务(EOS)后,不再提供该软件版本的任何技术服务支持。建议您在执行作业时选择新版本的Flink引擎,推荐使用DLI Flink 1.15版本。 正在使用Flink 1.10、Flink1
00:00(北京时间)将Spark 2.3.2版本停止服务(EOS)。 影响 DLI Spark 2.3.2版本停止服务(EOS)后,不再提供该软件版本的任何技术服务支持。建议您在执行作业时选择新版本的Spark引擎,推荐使用DLI Spark 3.3.1版本。 正在使用DLI Spark
入门实践 我们整理了从队列网络连通、不同类型的作业分析、数据迁移场景的常用开发指南和最佳实践内容,帮助您更好的使用DLI进行大数据分析和处理。 表1 DLI常用开发指南与最佳实践 场景 操作指导 描述 Spark SQL作业开发 使用Spark SQL作业分析OBS数据 介绍使用Spark
DLI SDK简介 DLI SDK简介 数据湖探索服务软件开发工具包(DLI SDK,Data Lake Insight Software Development Kit)是对DLI服务提供的REST API进行的作业提交的封装,以简化用户的开发工作。用户直接调用DLI SDK提供的接口函数即可实现使用提交DLI
00:00(北京时间)将Spark 3.1.1版本停止服务(EOS)。 影响 DLI Spark 3.1.1版本停止服务(EOS)后,不再提供该软件版本的任何技术服务支持。建议您在执行作业时选择新版本的Spark引擎,推荐使用DLI Spark 3.3.1版本。 正在使用DLI Spark
00:00(北京时间)将DLI Flink 1.7版本停止服务(EOS)。 影响 DLI Flink 1.7版本停止服务(EOS)后,不再提供该软件版本相关的任何技术服务支持。建议您在执行作业时选择新版本的Flink引擎,推荐使用DLI Flink 1.15版本。 正在使用Flink 1
server disconnected before a response was received. 问题原因 由于CPU使用率过高,导致网络闪断。 解决方案 在SQL语句中配置发送失败重试:connector.properties.retries=5 create table kafka_sink(
当存储空间可用率过小时,会自动扩容存储空间。 40GB 磁盘加密 选择是否开启磁盘加密功能。 不加密 虚拟私有云 选择已有的虚拟私有云。 如需重新创建VPC和子网,请参考创建虚拟私有云和子网。 说明: 跨源场景数据源网段和弹性资源池的网段不能重合。 - 数据库端口 默认使用3306端口。
作业异常怎么办? 问题现象 Jobmanager与Taskmanager心跳超时,导致Flink作业异常。 图1 异常信息 根因分析 检查网络是否发生闪断,分析集群负载是否很高。 如果频繁出现Full GC, 建议排查代码,确认是否有内存泄漏。 图2 Full GC 处理步骤 如果频繁Full
细内容请参考DLI对接LakeFormation。 HetuEngine简介 HetuEngine是华为推出的高性能交互式SQL分析及数据虚拟化引擎,能够与大数据生态无缝融合,实现海量数据的秒级交互式查询。 DLI+HetuEngine能够快速处理大规模数据集的查询请求,迅速和高
COMPUTED COLUMN 计算列是一个使用 “column_name AS computed_column_expression” 语法生成的虚拟列。它由使用同一表中其他列的非查询表达式生成,并且不会在表中进行物理存储。例如,一个计算列可以使用 cost AS price * quantity
afka的基本信息页面。 在“连接信息”中获取该Kafka的“内网连接地址”,在“基本信息”的“网络”中获取获取该实例的“虚拟私有云”和“子网”信息,方便后续操作步骤使用。 单击“网络”中的安全组名称,在“入方向规则”中添加放通队列网段的规则。例如,本示例队列网段为“10.0.0
afka的基本信息页面。 在“连接信息”中获取该Kafka的“内网连接地址”,在“基本信息”的“网络”中获取获取该实例的“虚拟私有云”和“子网”信息,方便后续操作步骤使用。 单击“网络”中的安全组名称,在“入方向规则”中添加放通队列网段的规则。例如,本示例队列网段为“10.0.0
如果测试地址可连通,页面上将提示地址可达。 如果测试地址不可连通,页面上将提示地址不可达,请检查网络配置后重试。检查网络配置即检查所测试的VPC对等连接或跨源连接是否处于已激活状态。 相关操作 创建跨源成功但测试网络连通性失败怎么办? 父主题: 管理队列
以减少数据的复制和延迟。 跨源访问的必要条件包括“DLI与数据源网络连通”、“DLI可获取数据源的访问凭证”: DLI与数据源网络连通:您可以参考配置DLI与数据源网络连通(增强型跨源连接)配置DLI与数据源的网络连通。 管理数据源的凭证: 您可以使用DLI提供的跨源认证功能管理访问指定数据源的认证信息。
Spark作业运行大批量数据时上报作业运行超时异常错误 当Spark作业运行大批量数据时,如果出现作业运行超时异常错误,通常是由于作业的资源配置不足、数据倾斜、网络问题或任务过多导致的。 解决方案: 设置并发数:通过设置合适的并发数,可以启动多任务并行运行,从而提高作业的处理能力。 例如访问DWS大批
Kafka的基本信息页面。 在“连接信息”中获取该Kafka的“内网连接地址”,在“基本信息”的“网络”中获取该实例的“虚拟私有云”和“子网”信息,方便后续操作步骤使用。 单击“网络”中的安全组名称,在“入方向规则”中添加放通队列网段的规则。 例如,本示例队列网段为“10.0.0
Kafka的基本信息页面。 在“连接信息”中获取该Kafka的“内网连接地址”,在“基本信息”的“网络”中获取该实例的“虚拟私有云”和“子网”信息,方便后续操作步骤使用。 单击“网络”中的安全组名称,在“入方向规则”中添加放通队列网段的规则。例如,本示例队列网段为“10.0.0.
LI到RDS网络是否可达。 创建DLI连接DWS的增强型跨源连接 在DWS管理控制台,选择“集群管理”,单击已创建的DWS集群名称,进入到DWS的基本信息页面。 在“基本信息”的“数据库属性”中获取该实例的“内网IP”、“端口”,“基本信息”页面的“网络”中获取“虚拟私有云”和“子网”信息,方便后续操作步骤使用。