检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
套餐包计费 套餐包 DLI提供优惠的资源套餐包，购买套餐包后，资源按照套餐包类型计费。 套餐包是用户预先购买的资源使用量配额，超出当前套餐包的额度，将自动转为按需收费。 套餐包类型及适用场景 表1 套餐包类型及适用场景 类型 说明 适用场景 重置规则 扫描数据量套餐包 按照用户每
Kafka源表 功能描述 创建source流从Kafka获取数据，作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka是
JSON Format 功能描述 JSON Format 能读写 JSON 格式的数据。当前，JSON schema 是从 table schema 中自动推导而得的。 支持的Connector Kafka Upsert Kafka Elasticsearch 参数说明 表1 参数
约束与限制 弹性资源池约束限制 更多弹性资源池约束限制请参考弹性资源池使用约束限制。 表1 弹性资源池约束限制 限制项 说明 资源规格 当前弹性资源池最大的计算资源 32000CUs。 弹性资源池中可创建队列的最小CU： 通用队列：4CUs SQL队列：Spark SQL队列：8CUs；HetuEngine
创建DLI表关联HBase 功能描述 使用CREATE TABLE命令创建DLI表并关联HBase上已有的表。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DL
Confluent Avro Format 功能描述 Avro Schema Registry (avro-confluent) 格式能让您读取被 io.confluent.kafka.serializers.KafkaAvroSerializer序列化的记录，以及可以写入成能被
JSON Format 功能描述 JSON Format 能读写 JSON 格式的数据。当前，JSON schema 是从 table schema 中自动推导而得的。更多具体使用可参考开源社区文档：JSON Format。 支持的Connector Kafka Upsert Kafka
Ogg Format 功能描述 Oracle GoldenGate (a.k.a ogg) 是一个实现异构 IT 环境间数据实时数据集成和复制的综合软件包。 该产品集支持高可用性解决方案、实时数据集成、事务更改数据捕获、运营和分析企业系统之间的数据复制、转换和验证。Ogg 为变更日志提供了统一的格式结构，并支持使用
使用DLI提交Flink Jar作业 操作场景 Flink Jar作业适用于需要自定义流处理逻辑、复杂的状态管理或特定库集成的数据分析场景。需要用户自行编写并构建Jar作业程序包，在提交Flink Jar作业前，将Jar作业程序包上传至OBS，并将程序包与数据和作业参数一起提交以运行作业。
使用Spark Jar作业读取和查询OBS数据 操作场景 DLI完全兼容开源的Apache Spark，支持用户开发应用程序代码来进行作业数据的导入、查询以及分析处理。本示例从编写Spark程序代码读取和查询OBS数据、编译打包到提交Spark Jar作业等完整的操作步骤说明来帮助您在DLI上进行作业开发。
创建DLI自定义委托权限 使用Flink 1.15和Spark 3.3及以上版本的引擎执行作业时，当您所需的委托没有包含在DLI系统委托dli_management_agency时，您需要在IAM页面创建相关委托，并在作业配置中添加新建的委托信息。dli_management_a
Confluent Avro Format 功能描述 Avro Schema Registry (avro-confluent) 格式能让您读取被 io.confluent.kafka.serializers.KafkaAvroSerializer 序列化的记录，以及可以写入成能被
Maxwell Format 功能描述 Maxwell是一个CDC（Changelog Data Capture）工具，可以将MySql中的更改实时流式写入到Kafka等流式connector。Maxwell为changelog提供了统一的格式，而且支持使用JSON对消息进行序列化。
使用Flink Jar读写DIS开发指南 概述 本节操作介绍基于Flink 1.12版本的Flink Jar作业读写DIS数据的操作方法。 Flink 1.12版本Flink Opensource SQL作业不支持使用DLI提供的connector读写DIS，因此推荐您使用本节操作提供的方法。
配置DLI云服务委托权限 使用DLI服务前请先配置DLI云服务权限。 本节操作适用于以下场景： 首次使用DLI服务，请参考本节操作按需配置DLI云服务委托权限。 使用DLI的过程中需要与其他云服务协同工作，因此需要您将部分服务的操作权限委托给DLI服务，确保DLI具备基本使用的权
创建非弹性资源池队列（废弃，不推荐使用） 非弹性资源池模式的队列是DLI的上一代计算资源管理方式，按使用需求购买和释放资源，需要预先估计资源使用需求再进行购买。 优先推荐使用弹性资源池队列，提高资源使用的灵活性和资源利用效率。购买弹性资源池并在弹性资源池中添加队列请参考创建弹性资源池并添加队列。
Canal Format 功能描述 Canal是一个 CDC（ChangeLog Data Capture，变更日志数据捕获）工具，可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式，并支持使用 JSON 或 protobuf序列化消息（Canal
使用DLI分析电商BI报表 应用场景 某电商商城在保持高速发展的同时，沉淀了数亿的忠实用户，积累了海量的真实数据。如何利用BI工具从历史数据中找出商机，是大数据应用在精准营销中的关键问题，也是所有电商平台在做智能化升级时所需要的核心技术。 本案例以某商城真实的用户、商品、评论数据
配置Beeline通过Kyuubi连接DLI进行数据查询和分析 Beeline是数据分析师和数据工程师的重要工具之一，适用于大规模数据处理的场景。Beeline提供了的SQL引擎，使得用户可以使用SQL的语言来执行数据查询、数据分析和管理任务。 Kyuubi是一个分布式 SQL
配置SuperSet通过Kyuubi连接DLI进行数据查询和分析 Superset是一个开源的数据探索和可视化平台，支持对数据进行快速、直观的探索，同时支持创建丰富的数据可视化和交互式仪表板。 Kyuubi是一个分布式 SQL 查询引擎，它提供了标准的SQL接口，使用户能够方便地访问和分析存储在大数据平台中的数据。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
