检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CSV格式数据转换为Parquet格式数据。 方案架构 将CSV格式的数据上传到对象存储服务OBS，使用DLI将CSV数据转换为Parquet数据，并将转换后的Parquet数据存储到OBS中。 图1 方案简介 流程指导 使用DLI将CSV数据转换为Parquet数据主要包括以下步骤：
IDEA为进行应用开发的工具，版本要求使用2019.1或其他兼容版本。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 开发流程 DLI进行Spark Jar作业开发流程参考如下： 图1 Spark Jar作业开发流程 表2 开发流程说明 序号 阶段 操作界面 说明 1 创建DLI通用队列
数据权限相关 数据权限列表 创建角色 删除角色 绑定角色 解绑角色 显示角色 分配权限 回收权限 显示已授权限 显示所有角色和用户的绑定关系
创建函数 功能描述 DLI支持创建使用UDF和UDTF等自定义函数应用于Spark作业开发当中。 具体使用自定义函数端到端的开发指导可以参考：Spark SQL作业使用UDF和Spark SQL作业使用UDTF。 语法格式 1 2 3 4 5 CREATE FUNCTION [db_name
了解数据目录、数据库和表 数据库和表是SQL作业、Spark作业场景开发的基础，在执行作业前您需要根据业务场景定义数据库和表。 Flink支持动态数据类型，可以在运行时定义数据结构，不需要事先定义元数据。 数据目录 数据目录（Catalog）是元数据管理对象，它可以包含多个数据库。
park异步执行Compaction，不...中提到的异步Compaction任务，这里给出以下开发建议： 不需要对每张Hudi表都开发异步Compaction任务，这样会导致作业开发成本上升。 异步Compaction任务可以通过提交Spark SQL作业来完成，也可以在Spark
的话近几个小时之内的增量数据可以通过log文件读出，如果保留时长过短，下游flink作业在重启或者异常中断阻塞的情况下，上游增量数据已经Clean掉了，flink需要从parquet文件读增量数据，性能会有下降；如果保留时间过长，会导致log里面的历史数据冗余存储。 具体可以按照
清理多版本数据 功能描述 多版本数据保留周期是在表每次执行insert overwrite或者truncate语句时触发，所以当表的多版本数据在保留周期时间外但是后续该表不会再执行insert overwrite或者truncate语句时，多版本保留周期外的数据不会自动清理。可以
Hudi数据表Archive规范 Archive（归档）是为了减轻Hudi读写元数据的压力，所有的元数据都存放在这个路径：Hudi表根目录/.hoodie目录，如果.hoodie目录下的文件数量超过10000就会发现Hudi表有非常明显的读写时延。 规则 Hudi表必须执行Archive。
DLI如何访问OBS桶中的数据 创建OBS表。 具体语法请参考《数据湖探索SQL语法参考》。 添加分区。 具体语法请参考《数据湖探索SQL语法参考》。 往分区导入OBS桶中的数据。 具体语法请参考《数据湖探索SQL语法参考》。 查询数据。 具体语法请参考《数据湖探索SQL语法参考》。
S集群。 整体作业开发流程 整体作业开发流程参考图1。 图1 作业开发流程 步骤1：创建队列：创建DLI作业运行的队列。 步骤2：创建RDS MySQL数据库和表：创建RDS MySQL的数据库和表。 步骤3：创建DWS数据库和表：创建用于接收数据的DWS数据库和表。 步骤4：创
Hudi数据表管理操作规范 Hudi数据表Compaction规范 Hudi数据表Clean规范 Hudi数据表Archive规范 父主题： DLI Hudi开发规范
Hudi数据表设计规范 Hudi表模型设计规范 Hudi表索引设计规范 Hudi表分区设计规范 父主题： DLI Hudi开发规范
绍》。 文档数据库服务DDS相关介绍请参考《文档数据库服务产品介绍》。 数据仓库服务GaussDB（DWS）相关介绍请参考《数据仓库服务产品介绍》。 MapReduce服务MRS相关介绍请参考《MapReduce服务产品介绍》。 云数据库RDS相关介绍请参考《云数据库服务产品介绍》。
进入DataArts Studio数据开发页面 步骤1：创建数据库和表 开发创建数据库和表的SQL脚本 数据库和表是SQL作业开发的基础，在执行作业前您需要根据业务场景定义数据库和表。 本节操作介绍提交SQL脚本创建数据库和表的操作步骤。 在DataArts Studio数据开发页面，选择左侧导航栏的“数据开发
使用Spark作业跨源访问数据源 概述 对接CSS 对接DWS 对接HBase 对接OpenTSDB 对接RDS 对接Redis 对接Mongo 父主题： Spark Jar作业开发指南
原生数据类型 DLI支持原生数据类型，请参见表1。 表1 原生数据类型 数据类型 描述 存储空间 范围 OBS表支持情况 DLI表支持情况 INT 有符号整数 4字节 -2147483648～2147483647 是 是 STRING 字符串 - - 是 是 FLOAT 单精度浮点型
Flink作业访问DIS，OBS和SMN数据源，无需创建跨源连接，可以直接访问。 推荐使用增强型跨源连接打通DLI与数据源之间的网络。 跨源分析开发方式 表1提供DLI支持的数据源对应的开发方式。 表1 跨源分析语法参考 服务名称 开发SQL作业 开发Spark jar作业 开发Flink OpenSource SQL作业
了解Kafka计费说明。 RDS MySQL 数据库 RDS for MySQL提供在线云数据库服务。 RDS对您选择的数据库实例、数据库存储和备份存储（可选）收费。 了解RDS计费说明。 DLV DLV适配云上云下多种数据源，提供丰富多样的可视化组件，快速定制数据大屏。 使用DLV服务的费用主
流生态作业开发指引 流生态系统基于Flink和Spark双引擎，完全兼容Flink/Storm/Spark开源社区版本接口，并且在此基础上做了特性增强和性能提升，为用户提供易用、低时延、高吞吐的数据湖探索。 数据湖探索的流生态开发包括云服务生态、开源生态和自拓展生态： 云服务生态
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
