检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
方案优势 提升查询性能 如果您在HDFS上拥有基于文本的数据文件或者表，而且正在使用Spark SQL对数据执行查询操作，那么推荐将文本数据文件转换为Parquet数据文件，转换需要时间，但查询性能的提升在某些情况下可能达到约30倍或更高。
数据加密服务（Data Encryption Workshop, DEW）是一个综合的云上数据加密服务，为您解决数据安全、密钥安全、密钥管理复杂等问题。本节操作介绍使用数据加密服务DEW存储数据源的认证信息的操作步骤。 了解数据加密服务。
数据加密服务（Data Encryption Workshop, DEW）是一个综合的云上数据加密服务，为您解决数据安全、密钥安全、密钥管理复杂等问题。推荐使用数据加密服务DEW来存储数据源的认证信息。
对Hudi表进行的每次操作都会产生元数据文件，而元数据文件过多会导致性能问题，所以元数据文件数量最好控制在1000以内。
数据加密服务（Data Encryption Workshop，DEW）、云凭据管理服务（Cloud Secret Management Service，CSMS），提供一种安全、可靠、简单易用隐私数据加解密方案。
例如：在DLI新建Flink作业所需的AKSK存储在数据加密服务DEW中，如需允许DLI在执行作业时访问DEW数据，需要提供IAM委托将DEW数据操作权限委托给DLI，允许DLI服务以您的身份访问DEW服务。
其中parquet格式文件用于存储基础数据，Avro格式文件（也可叫做log文件）用于存储增量数据。 优点：由于写入数据先写delta log，且delta log较小，所以写入成本较低。 缺点：需要定期合并整理compact，否则碎片文件较多。
DLI datasource v1表（以下简称V1表）：DLI的Datasource表格式，建表/插入/truncate命令使用DLI自定义的command，表的数据路径为$tablepath/UUID/数据文件。
Spark Jar 使用DEW获取访问凭证读写OBS 操作场景 DLI将Spark Jar作业并的输出数据写入到OBS时，需要配置AKSK访问OBS，为了确保AKSK数据安全，您可以通过数据加密服务（Data Encryption Workshop，DEW）、云凭据管理服务（Cloud
Timeline上与清理的数据文件对应的Instant才允许归档。
Flink Jar 使用DEW获取访问凭证读写OBS 操作场景 DLI将Flink Jar作业的输出数据写入到OBS时，需要配置AKSK访问OBS，为了确保AKSK数据安全，您可以通过数据加密服务（Data Encryption Workshop，DEW）、云凭据管理服务（Cloud
dry_run：显示需要清理的无效数据文件。 repair：显示并清理无效的数据文件。 undo：恢复已清理的数据文件 query：显示已执行清零操作的备份目录。 backup_path 运行模式为undo时有效，需要恢复数据文件的备份目录，必选。
COMPACTION 命令功能 压缩( compaction)用于在 MergeOnRead表将基于行的log日志文件转化为parquet列式数据文件，用于加快记录的查找。
在将数据导入DLI之前，确保源数据文件（如CSV、JSON等）是以UTF-8编码保存的。如果数据源不是UTF-8编码，请在导入前提前转换为UTF-8编码。 父主题： DLI数据库和表类
DLI Delta表概述 Delta表是一种基于Delta Lake技术实现的数据存储解决方案，它使用基于文件的事务日志扩展了 Parquet 数据文件，可以处理 ACID 事务和可缩放的元数据。
Hudi Clean操作说明 什么是Clean Cleaning用于清理Hudi表不再需要的老版本数据文件 (parquet文件或者log文件)，减轻存储压力，提升list操作效率。
对数据进行Z排序可以重新组织存储中的数据，当您的数据被适当地排序时，可以跳过更多的文件，读取更少的数据，从而运行得更快。要对Z-Order数据进行排序，请在ZORDER BY中指定要对其进行排序的列。
被克隆的信息包括：schema、分区信息、数据文件路径等。 对克隆表所做的任何更改都只会影响克隆本身，而不会影响源表，只要它们不触及源数据。注意克隆表可能仍会指向源表的数据文件，当源表做了vacuum操作时，可能导致克隆表找不到文件。
Hudi数据表Clean规范 Clean也是Hudi表的维护操作之一，该操作对于MOR表和COW表都需要执行。Clean操作的目的是为了清理旧版本文件（Hudi不再使用的数据文件），这不但可以节省Hudi表List过程的时间，也可以缓解存储压力。
VACUUM 命令功能 VACUUM命令用于删除表目录中不由 Delta 管理的所有文件，并删除不再处于表事务日志最新状态且超过保留期阈值的数据文件。默认阈值为 7 天。 注意事项 RETAIN num HOURS表示保留期阈值，建议设置为至少 7 天。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
