检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink作业开发指南 流生态作业开发指引 Flink OpenSource SQL作业开发 Flink Jar作业开发基础样例 使用Flink Jar写入数据到OBS开发指南 使用Flink Jar连接开启SASL_SSL认证的Kafka 使用Flink Jar读写DIS开发指南 Flink作业委托场景开发指导
使用Flink Jar写入数据到OBS开发指南 概述 DLI提供了使用自定义Jar运行Flink作业并将数据写入到OBS的能力。本章节JAVA样例代码演示将kafka数据处理后写入到OBS，具体参数配置请根据实际环境修改。 环境准备 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。
Spark作业开发类 Spark作业使用咨询 Spark如何将数据写入到DLI表中 通用队列操作OBS表如何设置AK/SK 如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？
复杂数据类型 Spark SQL支持复杂数据类型，如表1所示。 表1 复杂数据类型 数据类型 描述 使用格式 ARRAY 一组有序字段，使用指定的值构造ARRAY数组。可以为任意类型，要求所有字段的数据类型必须相同。 array(<value>,<value>[, ...]) 具体使用示例详见：ARRAY示例。
type'='xx'); 除Spark以外，其他引擎也可以修改Hudi表元数据，但是这种修改会导致整个Hudi表出现数据重复，甚至数据损坏；因此禁止修改上述属性。 父主题： Spark on Hudi开发规范
从Kafka读取数据写入到DWS 本指导仅适用于Flink 1.12版本。 场景描述 该场景为对汽车驾驶的实时数据信息进行分析，将满足特定条件的数据结果进行汇总。汽车驾驶的实时数据信息为数据源发送到Kafka中，再将Kafka数据的分析结果输出到DWS中。 例如，输入如下样例数据： {"car_id":"3027"
细的查询。 详细的数据说明请参考数据说明。 图1 方案简介 流程指导 使用DLI进行驾驶行为数据分析的操作过程主要包括以下步骤： 步骤1：上传数据。将数据上传到对象存储服务OBS，为后面使用DLI完成数据分析做准备。 步骤2：分析数据。使用DLI对待分析的数据进行查询。 示例代码
本示例创建的RDS MySQL数据库版本选择为：8.0。 具体步骤可参考：购买RDS for MySQL实例。 整体作业开发流程 整体作业开发流程参考图1。 图1 作业开发流程 步骤1：创建队列：创建DLI作业运行的队列。 步骤2：创建Kafka的Topic：创建Kafka生产消费数据的Topic。
特定类型的数据，使得数据可以被有效地查询和分析。数据库是一个框架，表是其实质内容。一个数据库包含一个或者多个表。 · 元数据：元数据（Metadata）是用来定义数据类型的数据。主要是描述数据自身信息，包含源、大小、格式或其它数据特征。数据库字段中，元数据用于诠释数据仓库的内容。
同时根据读取的数据生成新的数据或对数据进行修改。 使用Hive和Datasource（除Hudi外）表在执行数据修改类命令（例如insert into，load data）时由于数据源不支持事务性，在系统故障或队列资源重启后，可能会导致数据重复或数据不一致等问题。 为了避免这种情
数据权限相关 数据权限列表 创建角色 删除角色 绑定角色 解绑角色 显示角色 分配权限 回收权限 显示已授权限 显示所有角色和用户的绑定关系
查看表元数据 元数据说明 元数据（Metadata）是用来定义数据类型的数据。主要是描述数据自身信息，包含源、大小、格式或其它数据特征。数据库字段中，元数据用于诠释数据仓库的内容。 创建表时，会定义元数据，由列名、类型、列描述三列组成。 “元数据”页面将显示目标表的列名、列类型、类型和描述。
从Kafka读取数据写入到Elasticsearch 本指导仅适用于Flink 1.12版本。 场景描述 本示例场景对用户购买商品的数据信息进行分析，将满足特定条件的数据结果进行汇总输出。购买商品数据信息为数据源发送到Kafka中，再将Kafka数据的分析结果输出到Elasticsearch中。
使用Spark SQL作业分析OBS数据 DLI支持将数据存储到OBS上，后续再通过创建OBS表即可对OBS上的数据进行分析和处理。 本指导中的操作内容包括：创建OBS表、导入OBS表数据、插入和查询OBS表数据等内容来帮助您更好的在DLI上对OBS表数据进行处理。 前提条件 已创建O
图解数据湖探索
1或其他兼容版本。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 开发流程 DLI进行Spark作业访问DLI元数据开发流程参考如下： 图1 Spark作业访问DLI元数据开发流程 表2 开发流程说明 序号 阶段 操作界面 说明 1 创建DLI通用队列 DLI控制台
Spark如何将数据写入到DLI表中 使用Spark将数据写入到DLI表中，主要设置如下参数： fs.obs.access.key fs.obs.secret.key fs.obs.impl fs.obs.endpoint 示例如下： import logging from operator
车企数字化服务转型 大数据ETL处理 运营商大数据分析 运营商数据体量在PB~EB级，其数据种类多，有结构化的基站信息数据，非结构化的消息通信数据，同时对数据的时效性有很高的要求，DLI服务提供批处理、流处理等多模引擎，打破数据孤岛进行统一的数据分析。 优势 大数据ETL：具备TB~
SQL/Flink SQL，支持多种接入方式，并兼容主流数据格式。数据无需复杂的抽取、转换、加载，使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。 产品介绍 图说DLI 立即使用 成长地图 由浅入深，带您玩转DLI
创建Delta表时会在元数据仓创建表的相关元数据信息。 Delta支持对接DLI元数据和Lakeformation元数据（仅Spark 3.3.1及以上版本支持对接Lakeformation元数据），对接方式与Spark一致。 DLI元数据可在数据湖探索管理控制台的“数据管理 > 库表管理”中查看。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
