如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
如需了解国际站更多云产品，请访问国际站。https://www.huaweicloud.com/intl/
不再显示此消息
修改表分区位置（只支持OBS表） 功能描述 修改表分区的位置。 语法格式 1 2 3 ALTER TABLE table_name PARTITION partition_specs SET LOCATION obs_path; 关键字 PARTITION：分区。 LOCATION：分区路径。
使用DataSource语法创建DLI表 功能描述 使用DataSource语法创建DLI表。DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异，详细请参考语法格式和注意事项说明。 注意事项 CTAS建表语句不能指定表的属性。 若没有指定分隔符，则默认为逗号（
在DLI使用Hudi提交Spark Jar作业 提交Spark jar作业的场景需要手动配置由LakeFormation提供元数据服务的Hudi锁实现类，请参照 Hudi锁配置说明。 登录DLI管理控制台，选择“作业管理 > Spark作业”，进入到Spark作业的界面。 提交Hudi相关的Spark
禁止或恢复表的生命周期 功能介绍 禁止或恢复指定表或分区的生命周期。 使用禁止或恢复表的生命周期有以下两种场景： 表或分区表开启了生命周期的功能，该功能可以禁止或恢复表的生命周期，即修改“dli.table.lifecycle.status”的参数值。 表或分区表未开启生命周期的
Flink作业输出流写入数据到OBS，通过该OBS文件路径创建的DLI表查询无数据 问题现象 使用Flink作业输出流写入数据到了OBS中，通过该OBS文件路径创建的DLI表进行数据查询时，无法查询到数据。 例如，使用如下Flink结果表将数据写入到OBS的“obs://obs-sink/car_infos”路径下。
产品优势 纯SQL操作 DLI提供标准SQL接口，用户仅需使用SQL便可实现海量数据查询分析。SQL语法全兼容标准ANSI SQL 2003。 存算分离 DLI解耦计算和存储负载，存算分离架构，存储资源和计算资源按需灵活配置，提高了资源利用率，降低了成本。 企业级多租户 支持计算
创建DLI表关联DWS 功能描述 使用CREATE TABLE命令创建DLI表并关联DWS上已有的表。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联
修改表生命周期的时间 功能描述 修改已存在的分区表或非分区表的生命周期。 当第一次开启生命周期时，会扫描表/分区会扫描路径下的表数据文件，更新表/分区的LAST_ACCESS_TIME，耗时与分区数和文件数相关。 约束限制 表生命周期处于公测阶段，如果有需要请联系客服申请开通白名单。
创建SQL作业的API执行超过时间限制，运行超时报错 问题现象 DLI上调用“提交SQL作业”API运行超时，报如下错误信息： There are currently no resources tracked in the state, so there is nothing to
如何在一个Flink作业中将数据写入到不同的Elasticsearch集群中？ 在Flink 作业中，可以使用CREATE语句来定义Source表和Sink表，并指定它们的连接器类型以及相关的属性。 如果需要将数据写入到不同的Elasticsearch集群，您需要为每个集群配置不
SQL作业执行完成后，修改表名导致datasize不正确怎么办？ 在执行SQL作业后立即修改表名，可能会导致表的数据大小结果不正确。 这是因为DLI在执行SQL作业时，会对表进行元数据更新，如果在作业执行完成前修改了表名，会和作业的元数据更新过程冲突，从而影响对数据大小的判断。
创建DLI表关联Oracle 功能描述 使用CREATE TABLE命令创建DLI表并关联Oracle上已有的表。 前提条件 创建DLI表关联Oracle之前需要创建增强型跨源连接。 管理控制台操作请参考增强型跨源连接。 由于仅支持增强型跨源方式连接Oracle，且仅按需专属队列
Spark增量读取Hudi参数规范 规则 增量查询之前必须指定当前表的查询为增量查询模式，并且查询后重写设置表的查询模式 如果增量查询完，不重新将表查询模式设置回去，将影响后续的实时查询 示例 以SQL作业为例： 配置参数 hoodie.tableName.consume.mode=INCREMENTAL
创建DLI表关联HBase 功能描述 使用CREATE TABLE命令创建DLI表并关联HBase上已有的表。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DL
创建表时指定表的生命周期 功能描述 DLI提供了表生命周期管理功能，在创建表时指定表的生命周期。DLI会根据每张表的最后修改时间和表的生命周期来判断是否要回收此表。通过设置表的生命周期，可以帮助您更好的管理数目众多的表，自动清理长期不再使用的数据表，简化数据表的回收流程。同时支持数据恢复设置，避免因误操作丢失数据。
LakeFormation资源权限支持列表与策略项 LakeFormation SQL资源权限支持列表 DLI支持SQL资源鉴权的操作列表请参考数据权限列表。 LakeFormation SQL资源权限支持列表请参考表1。 表1 LakeFormation SQL资源权限支持列表
Jar写入数据到OBS开发指南。 配置文件使用方法 方案一：直接在main函数里面加载文件内容到内存，然后广播到各个taskmanager，这种方式适合那种需要提前加载的少量变量。 方案二：在open里面初始化算子的时候加载文件，可以使用相对路径/绝对路径的方式 以kafka sink为例
创建DLI表关联DCS 功能描述 使用CREATE TABLE命令创建DLI表并关联DCS上已有的Key。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表
怎样将OBS表映射为DLI的分区表？ 场景概述 用户使用Flink SQL作业时，需要创建OBS分区表，用于后续进行批处理。 操作步骤 该示例将car_info数据，以day字段为分区字段，parquet为编码格式，转储数据到OBS。更多内容请参考《数据湖探索Flink SQL语法参考》。
datasource.hbase CloudTable/MRS OpenTSDB: sys.datasource.opentsdb RDS MySQL: sys.datasource.rds RDS PostGre: 不需要选 DWS: 不需要选 CSS: sys.datasource
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
您即将访问非华为云网站，请注意账号财产安全
