检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置表的生命周期，可以帮助您更好的管理数目众多的表，自动清理长期不再使用的数据表，简化数据表的回收流程。同时支持数据恢复设置，避免因误操作丢失数据。 表的回收规则 在创建表时通过TBLPROPERTIES指定表的生命周期。 非分区表 如果表是非分区表，根据每张表的最后修改时间，经过生命周期时间后判断是否要回收此表。
mpaction、Clustering都会导致部分或全部数据重写。 列的默认值设置要与列的类型一致，如不一致会进行类型强转，导致默认值精度丢失或者默认值为NULL。 历史数据的默认值与列第一次设置的默认值一致，多次修改列的默认值不会影响历史数据的查询结果。 设置默认值后rollback不能回滚默认值配置。
怎样修改DLI上已经创建好的表的字段名称？ DLI本身不支持直接修改表的字段名称，但您可以通过以下步骤来解决这个问题表数据迁移的方式来解决该问题： 创建新表：创建一个新表，并定义新的表字段名称。 迁移数据：使用INSERT INTO ... SELECT语句将旧表的数据迁移到新表中。
partition pruning predicate on partitioned table `777dd`.`test_delta_parts1` 解决方案：在console页面设置中添加参数spark.sql.forcePartitionPredicatesOnPartitionedTable
cted character”问题。 问题 将代码直接复制到py文件中后，'\'后出现“unexpected character”问题。 解决方案 将'\'后面的缩进或是空格全部删除。 父主题： 对接Redis
执行缓慢。 该问题可以通过设置spark.sql.shuffle.partitions提高shuffle read task的并行度来进行解决。 设置spark.sql.shuffle.partitions参数提高并行度 用户可在JDBC中通过set方式设置dli.sql.shuffle
运行Spark作业，作业运行失败，作业日志中提示No respond错误 问题现象 运行Spark作业，作业运行失败，作业日志中提示No respond错误 解决方案 重新创建Spark作业，创建作业时需要在“Spark参数（--conf）”中添加配置：“spark.sql.mrs.opentsdb
was restricted. Restricted for no budget. 该提示信息说明您可能因账户欠费获余额不足导致操作受限。 解决方案： 检查账户状态。 请先确认是否欠费，如有欠费请充值。 重新登录账户。 如果充值后仍然提示相同的错误，请退出账号后重新登录。 父主题：
Flink作业性能调优类 Flink作业推荐配置指导 Flink作业性能调优 Flink作业重启后，如何保证不丢失数据？ Flink作业运行异常，如何定位 Flink作业重启后，如何判断是否可以从checkpoint恢复 DLI Flink作业提交运行后（已选择保存作业日志到OB
用的是低版本的Spark，那么应用程序在Spark 2.3的环境中运行将会报java.lang.AbstractMethodError。 解决措施有如下两种方案： 基于Spark 2.3重新编译应用 使用sl4j+log4j来实现日志功能，而不是直接继承Spark内部接口Logging。具体如下：
temporary table ...” 语法来创建临时表，通过该表存储临时数据，结束事务或者会话后该表数据自动清除。当前DLI是否支持该功能？ 解决措施：当前DLI不支持创建临时表功能，只能根据当前业务逻辑控制来实现相同功能。DLI支持的SQL语法可以参考创建DLI表。 可以本地连接DLI吗
Hudi数据表Compaction规范 mor表更新数据以行存log的形式写入，log读取时需要按主键合并，并且是行存的，导致log读取效率比parquet低很多。为了解决log读取的性能问题，Hudi通过compaction将log压缩成parquet文件，大幅提升读取性能。 规则 有数据持续写入的表，24
败 问题现象 运行Spark作业，作业运行失败，作业日志中提示java server connection或container启动失败。 解决方案 确认是否已修改跨源连接的主机信息，如果没有，请参考DLI跨源连接中配置MRS主机信息修改主机信息。重新创建和提交Spark作业。 问
配置DLI对接AOM Prometheus监控 AOM服务提供的Prometheus监控是一种全面对接开源Prometheus生态的监控解决方案。它支持多种类型的组件监控，提供预置监控大盘和全面托管的Prometheus服务，通过Prometheus监控来统一采集、存储和显示监控
DLI支持用户使用Hive UDTF（User-Defined Table-Generating Functions）自定义表值函数，UDTF用于解决一进多出业务场景，即其输入与输出是一对多的关系，读入一行数据，输出多个值。 约束限制 在DLI Console上执行UDTF相关操作时，需要使用自建的SQL队列。
远程代码执行漏洞（CVE-2021-44228）、Fastjson存在反序列化漏洞（CNVD-2022-40233）等。 一旦发现服务模块涉及漏洞影响，会迅速通过官方解决方案升级现网更新漏洞。 更新配置 DLI云服务通过版本更新升级更新配置，确保服务的安全性和稳定性。 父主题： 安全
DLI Delta表概述 Delta表是一种基于Delta Lake技术实现的数据存储解决方案，它使用基于文件的事务日志扩展了 Parquet 数据文件，可以处理 ACID 事务和可缩放的元数据。 Delta Lake与Apache Spark API完全兼容，并且其设计能够与结
理的场景。 数据接入服务（Data Ingestion Service，简称DIS）为处理或分析流数据的自定义应用程序构建数据流管道，主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源（如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源
Oracle GoldenGate (a.k.a ogg) 是一个实现异构 IT 环境间数据实时数据集成和复制的综合软件包。 该产品集支持高可用性解决方案、实时数据集成、事务更改数据捕获、运营和分析企业系统之间的数据复制、转换和验证。Ogg 为变更日志提供了统一的格式结构，并支持使用 JSON
DEW）是一个综合的云上数据加密服务，为您解决数据安全、密钥安全、密钥管理复杂等问题。推荐使用数据加密服务DEW来存储数据源的认证信息。 Spark 3.3.1及以上版本、Flink 1.15及以上版本的跨源访问场景推荐使用数据加密服务DEW来存储数据源的认证信息，为您解决数据安全、密钥安全、密钥
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
