检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。
不管是否进行compaction操作,至少会保留hoodie.compact.inline.max.delta.commits个Instant不会被归档,以此保证有足够的Instant去触发compation schedule。
TABLESAMPLE 有BERNOULLI和SYSTEM两种采样方法。 这两种采样方法都不允许限制结果集返回的行数。 BERNOULLI 每一行都将基于指定的采样率选择到采样表中。
确保系统有足够的时间更新表的元数据,避免因修改表名而导致的数据大小统计不准确的问题。 父主题: DLI数据库和表类
如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。
说明: 只有OBS表有该参数。 data_location 是 String 数据存储位置,分为DLI和OBS。 last_access_time 是 Long 最近更新时间。是单位为“毫秒”的时间戳。 location 否 String OBS表的存储路径。
DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。 DWS的更多信息,请参见《数据仓库服务管理指南》。
创建Password类型跨源认证 操作场景 通过在DLI控制台创建的Password类型的跨源认证,将DWS、RDS、DCS和DDS数据源的密码信息存储到DLI,无需在SQL作业中配置账号密码,安全访问DWS、RDS、DDS、DCS数据源。
Clean操作的目的是为了清理旧版本文件(Hudi不再使用的数据文件),这不但可以节省Hudi表List过程的时间,也可以缓解存储压力。 规则 Hudi表必须执行Clean。 对于Hudi的MOR、COW表,都需要开启Clean。
DLI Flink指标上报周期默认为30秒,因此指标上报有一定延迟。如需调整上报周期,请参考DLI对接AOM Prometheus监控的配置项章节metrics.reporter.remote.interval参数进行配置。
华为云根据客户等级定义了不同客户的宽限期和保留期时长。 关于充值的详细操作请参见账户充值。 按需计费模式和套餐包组合使用 DLI支持套餐包和按需计费模式结合使用。 购买了套餐包时,按需使用过程中优先抵扣套餐包的规格额度,超过额度的使用量按需计费。
您可以使用该接口将存储在OBS中的数据导入到已创建的DLI表中。
有效性检查 SQL 标准主键限制可以有两种模式:ENFORCED 或者 NOT ENFORCED。 它申明了是否输入/出数据会做合法性检查(是否唯一)。Flink 不存储数据因此只支持 NOT ENFORCED 模式,即不做检查,用户需要自己保证唯一性。
详情参考Apache Flink Catalogs 功能描述 HiveCatalog有两个用途:作为原生Flink元数据的持久化存储,以及作为读写现有Hive元数据的接口。
在OBS中,上传文件的具体方式和要求可以参考《对象存储服务快速入门》>“上传对象”。 如果作业没有运行,则无法查看TaskManager信息。 父主题: 管理Flink作业
如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。
本节操作介绍使用数据加密服务DEW存储数据源的认证信息的操作步骤。 了解数据加密服务。 在DEW创建通用凭据 本例以配置RDS实例访问凭据为例,介绍在DEW保存凭据,并在DLI作业中的配置示例。 登录DEW管理控制台 选择“凭据管理”,进入“凭据管理”页面。
删除表 删除表的入口有两个,分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面删除表。 在管理控制台左侧,单击“数据管理”>“库表管理”。 单击需删除表的数据库名,进入该数据库的“表管理”页面。 选中目标表,单击“操作”栏中的“更多 > 删除表”。
trans_array trans_array函数用于将一行数据转为多行的UDTF,将列中存储的以固定分隔符格式分隔的数组转为多行。 使用限制 所有作为key的列必须位于在前面,而要转置的列必须放在后面。 在一个select中只能有一个UDTF,不可以再出现其他的列。
使用限制 创建含有复杂数据类型字段的表时,该表存储格式不支持CSV(txt)。 如果表中含有复杂数据类型字段时,该表不支持CSV(txt)格式的文件数据导入。 MAP数据类型建表必须指定schema,且不支持date、short、timestamp数据类型。