检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi表索引设计规范 规则 禁止修改表索引类型。 Hudi表的索引会决定数据存储方式，随意修改索引类型会导致表中已有的存量数据与新增数据之间出现数据重复和数据准确性问题。常见的索引类型如下： 布隆索引：Spark引擎独有索引，采用bloomfiter机制，将布隆索引内容写入到Parquet文件的footer中。
Hudi表分区设计规范 规则 分区键不可以被更新： Hudi具有主键唯一性机制，但在分区表的场景下通常只能保证分区内主键唯一，因此如果分区键的值发生变更后，会导致相同主键的行记录出现多条的情况。在以日期分区的场景，可采用数据的创建时间为分区字段，切记不要采用数据更新时间做分区。
DLI数据导入指引 DLI支持在不迁移数据的情况下，直接对OBS中存储的数据进行查询分析，您只需要将数据上传OBS即可使用DLI进行数据分析。 上传数据至OBS请参考《对象存储用户指南》。 当需要将来自不同源的数据进行集中存储和处理时，迁移数据至DLI可以提供一个统一的数据平台。
15版本新增读写Hive、Hudi等Connector。 Flink 1.15版本数据同步迁移场景，优先推荐使用DataArts的数据集成。 Flink 1.15版本支持集成DEW-CSMS凭证管理，提供隐私保护方案。 Flink 1.15版本支持Flink Jar作业最小化提交。
Hudi表模型设计规范 规则 Hudi表必须设置合理的主键。 Hudi表提供了数据更新和幂等写入能力，该能力要求Hudi表必须设置主键，主键设置不合理会导致数据重复。主键可以为单一主键也可以为复合主键，两种主键类型均要求主键不能有null值和空值，可以参考以下示例设置主键： SparkSQL：
更高。 节省存储空间 Parquet还支持灵活的压缩选项，因此可以显著减少磁盘上的存储。存储的节省可高达约75%。 资源和成本规划 表1 资源和成本规划 资源 资源说明 成本说明 OBS 需要创建一个OBS桶将数据上传到对象存储服务OBS，为后面使用DLI完成数据分析做准备。 OBS的使用涉及以下几项费用：
Hudi数据表设计规范 Hudi表模型设计规范 Hudi表索引设计规范 Hudi表分区设计规范 父主题： DLI Hudi开发规范
EOL后，将无法使用“包年/包月”和“按需计费”计费模式队列执行作业。 请您务必在EOL前完成将“包年/包月”和“按需计费”计费模式队列上执行的作业迁移至弹性资源池队列。即用户重新购买弹性资源池，使用新购的弹性资源池队列执行作业。 DLI“包年/包月”和“按需计费”计费模式队列在EOM和EOL后，可以使用哪个功能替换？
弹性资源池使用相关约束限制请参考弹性资源池使用约束限制。 具备强大的计算能力、高可用性、及灵活的资源管理能力，适用于大规模计算任务场景和有长期资源规划需求的业务场景。
同版本的Spark/Flink引擎可能会导致作业因依赖冲突而执行失败。 计算引擎版本生命周期 表1给出了DLI计算引擎版本生命周期，帮助您规划自己的版本更新节奏。 表1 DLI计算引擎版本生命周期 计算引擎类型 版本名称 状态 EOM时间 EOS时间 Flink DLI Flink
步骤2：分析账户消费结构并优化。在DLI上分析账户消费结构，找出开支较大的资源或用户，并给出降底成本的优化措施。 资源和成本规划 表1 资源和成本规划 资源 资源说明 成本说明 DLI 数据湖探索（DLI）作为华为云大数据分析平台，其计费项包括存储费用与计算费用两项，计费类型包括包周期（包年包月），套餐包和按需计费三种。
BI工具连接DLI方案概述 BI工具是数据分析的强大助手，提供数据可视化、报表生成和仪表板创建等功能。 DLI服务通过对数据的融合分析处理，可以为BI工具提供标准的、有效的高质量数据，供给后续的数据统计分析使用。 通过连接到DLI，BI工具可以更加灵活的使用DLI访问和分析数据，帮助企业快速做出基于数据的决策。
准备工作 已注册华为账号并开通华为云，且在使用DLI前检查账号状态，账号不能处于欠费或冻结状态。 配置DLI委托访问授权 DLI使用过程中涉及到OBS、VPC、SMN等服务交互，首次使用DLI需要用户配置委托授权，允许访问这些依赖服务。 使用华为云账号登录DLI管理控制台，在左侧导航栏单击“全局配置
Hudi开发规范概述 范围 本节内容介绍DLI-Hudi组件进行湖仓一体、流批一体方案的设计与开发方面的规则，适用于Hudi开发场景的表的设计、管理与作业开发。 主要包括以下方面的规范： 数据表设计 资源配置 性能调优 常见故障处理 常用参数配置 术语约定 本规范采用以下的术语描述：
hadoop.fs.dew.csms.secretName=obsAksKflink.hadoop.fs.dew.endpoint=kmsendpoint flink.hadoop.fs.dew.csms.version=v6flink.hadoop.fs.dew.csms.cache.time
Python SDK环境配置 操作场景 在进行二次开发时，要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统，推荐Windows 7及以上版本。 安装Python Python版本建议使用2.7.10和3.4.0以上版本，需要配置Visual
按需计费：日志分析按时效性要求按周期进行调度，每次调度之间存在大量空闲期。DLI按需计费只在使用期间收费，有效节约队列成本。 资源和成本规划 表1 资源和成本规划 资源 资源说明 成本说明 OBS 需要创建一个OBS桶将数据上传到对象存储服务OBS，为后面使用DLI完成数据分析做准备。 OBS的使用涉及以下几项费用：
BS中的各个渠道的销售汇总数据。 纯SQL操作：DLI已对接多个数据源，直接通过SQL建表就可以完成数据源的映射。 资源和成本规划 表1 资源和成本规划 资源 资源说明 成本说明 OBS 需要创建一个OBS桶将数据上传到对象存储服务OBS，为后面使用DLI完成数据分析做准备。 OBS的使用涉及以下几项费用：
DLI Delta表概述 Delta表是一种基于Delta Lake技术实现的数据存储解决方案，它使用基于文件的事务日志扩展了 Parquet 数据文件，可以处理 ACID 事务和可缩放的元数据。 Delta Lake与Apache Spark API完全兼容，并且其设计能够与结
'dew.endpoint'='', 'dew.csms.secretName'='', 'dew.csms.decrypt.fields'='', 'dew.projectId'='', 'dew.csms.version'='' ); 参数说明 表1 参数说明
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
