检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ormation文档。 系统响应 Table创建成功,创建的Hudi表可以进入DLI控制台,在左侧菜单栏选择”数据管理”->”库表管理”,随后筛选数据库并点击名称,进入表列表查询。 父主题: Hudi DDL语法说明
但未写入数据 Flink Opensource SQL如何解析复杂嵌套 JSON? Flink Opensource SQL从RDS数据库读取的时间和RDS数据库存储的时间为什么会不一致? Flink Opensource SQL Elasticsearch结果表failure
创建OBS表需要指定OBS路径,且该路径需要提前创建。 完整样例代码和依赖包说明请参考:Python SDK概述。 删除表 DLI提供删除表的接口。您可以使用该接口删除数据库下的所有表。示例代码如下: 1 2 3 4 5 6 7 8 def delete_tbls(dli_client, db_name):
INSERT/UPDATE/DELETE 消息到 Flink SQL 系统中。在很多情况下,利用这个特性非常有用,例如 将增量数据从数据库同步到其他系统 日志审计 数据库的实时物化视图 关联维度数据库的变更历史,等等 Flink 还支持将 Flink SQL 中的 INSERT/UPDATE/DELETE 消息编码为
是否必选 参数类型 说明 sql 是 String 待执行的SQL语句。 currentdb 否 String SQL语句执行所在的数据库。当创建新数据库时,不需要提供此参数。 conf 否 Array of objects 用户定义适用于此作业的配置参数。目前支持的配置项: dli.sql
D:\tmp\dli-sdk-python-1.0.8”。 执行如下命令安装DLI服务Python SDK,安装过程中会自动下载第三方依赖库。 python setup.py install 运行结果参见图1所示。 图1 安装Python SDK 父主题: Python SDK环境配置
Read & Write。 虽然所有Hive版本支持相同的语法,但是一些特定的功能对Hive版本有依赖,请参考Hive 版本。 例如,更新数据库位置 只在 Hive-2.4.0 或更高版本支持。 执行DML和DQL时应该使用HiveModule 。 从Flink 1.15版本开始,在
(property_name=property_value,...)] 描述 创建一个空的schema。schema是表、视图以及其他数据库对象的容器。当指定可选参数IF NOT EXISTS时,如果系统已经存在同名的schema,将不会报错。 示例 创建一个名为web的schema:
当社区版Flink提供的Connector不能满足特定需求时,用户可以通过Jar作业来实现自定义的Connector或数据处理逻辑。 适合需要实现UDF(用户定义函数)或特定库集成的场景,用户可以利用Flink的生态系统来实现高级的流处理逻辑和状态管理。 创建Flink Jar作业请参考创建Flink Jar作业。
保数据可以在DLI集中分析和管理,您可以通过云数据迁移服务CDM等迁移工具迁移数据至DLI,再使用DLI提交作业分析数据。 CDM支持数据库、数据仓库、文件等多种类型的数据源,通过可视化界面对数据源迁移任务进行配置,提高数据迁移和集成的效率。 具体操作请参考迁移外部数据源数据至DLI。
表示在转换过程中绕过统计信息收集,以更快的速度完成转换。 所需权限 SQL权限 表2 CONVERT TO DELTA所需权限列表 权限描述 表所在数据库的CREATE_TABLE权限 表的ALTER权限 表的INSERT_INTO_TABLE权限 表的DROP_TABLE权限 细粒度权限:d
10 11 12 13 14 15 16 17 18 19 20 21 22 //实例化importJob对象,构造函数的入参包括队列、数据库名、表名(通过实例化Table对象获取)和数据路径 private static void importData(Queue queue, Table
dli_elastic_resource_pool:弹性资源池 dli_enhanced_datasource:增强型跨源连接 dli_database:数据库 dli_package_resource:资源包(不支持指定有Module ID的内置资源包) dli_flink_job:Flink作业
HISTORY FOR TABLE:查看备份数据。 PARTITION:指定分区列。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 table_name 表名称。 column 分区列名。 value
在管理控制台左上角选择区域。 单击“购买数据库实例”配置相关参数。主要参数的填下说明如下,其他参数保持默认值即可。 计费模式:按需付费 区域:选择与DLI服务相同的区域 实例名称:rds-dliflink 数据库引擎:MySQL 数据库版本:8.0 实例类型:主备 存储类型:SSD云盘
如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 更多具体使用可参考开源社区文档:Apache Kafka SQL 连接器。 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1
table:清理多版本数据。 older_than:指定清理多版本数据的时间范围。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 table_name 表名称。 时间戳 删除该时间戳时间点之
VERSION:指定版本号。具体的版本号可以通过SHOW HISTORY命令获取,详情请参考查看多版本备份数据。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 table_name 表名称。 column 分区列名。 value
参数名称 是否必选 参数类型 说明 sql 是 String 待执行的SQL语句。 currentdb 否 String SQL语句执行所在的数据库。 说明: 在SQL里面已经包含db_name的情况下可以不选该参数,例如SQL为:select * from db1.t1。 SQL里面不
TBLPROPERTIES:TBLPROPERTIES子句给表添加key/value的属性。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 table_name 表名称。 days 多版本中备份数据保