检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
jdbc连接地址,格式为:jdbc:postgresql://${ip}:${port}/${dbName} 。 connector.table 是 读取数据库中的数据所在的表名 connector.driver 否 jdbc连接驱动,默认为: org.postgresql.Driver。 connector
单击需删除表的数据库名,进入该数据库的“表管理”页面。 选中目标表,单击“操作”栏中的“更多 > 删除”。 在弹出的确认对话框中,单击“是”。 在“SQL编辑器”页面删除表。 在SQL作业管理控制台的顶部菜单栏中,选择“SQL编辑器”。 在左侧导航栏选择“数据库”页签,鼠标左键
是否必选 参数类型 说明 sql 是 String 待执行的SQL语句。 currentdb 否 String SQL语句执行所在的数据库。当创建新数据库时,不需要提供此参数。 current_catalog 否 String 待提交作业的表的默认catalog。不填时默认使用DLI
OpenSource SQL作业开发指南 从Kafka读取数据写入到RDS 从Kafka读取数据写入到DWS 从Kafka读取数据写入到Elasticsearch 从MySQL CDC源表读取数据写入到DWS 从PostgreSQL CDC源表读取数据写入到DWS Flink作业高可靠推荐配置指导(异常自动重启)
option("user",user)\ .option("password",password)\ .option("database",database)\ .option("collection",collection)\ .mode("Overwrite")\
USER:限定后面的user_name是一个用户。 注意事项 resource可以是queue、database、table、column、view,格式分别为: queue的格式为:queues.queue_name database的格式为:databases.db_name table的格式为:databases
第二级key属性的列名。 cache_max_num 否 表示最大缓存的查询结果数,默认值为32768。 cache_time 否 表示数据库查询结果在内存中缓存的最大时间。单位为毫秒,默认值为10000,当值为0时表示不缓存。 注意事项 不支持Redis集群。 请务必确保您的账
第二级key属性的列名。 cache_max_num 否 表示最大缓存的查询结果数,默认值为32768。 cache_time 否 表示数据库查询结果在内存中缓存的最大时间。单位为毫秒,默认值为10000,当值为0时表示不缓存。 注意事项 不支持Redis集群。 请务必确保您的账
在“创建数据集”页面中,左侧“数据源”栏选择已添加的DLI数据源,请参见图3。 图3 选择数据源 左侧“表”栏中点击右键,刷新表,将列出所有数据库及数据库下面的数据表(这是添加数据源时,“表结构模式”没有配置时的情况),请参见图4。 图4 刷新数据表 在左侧“SQL语句”栏中执行表查询命令”select * from
调整资源。了解DLI的队列类型请参考DLI队列类型。 DLI计算资源模式 DLI提供了三种计算资源的管理模式,每一种模式都有独特的优势和适用场景。 图1 DLI计算资源模式 弹性资源池模式:计算资源的池化管理模式,提供计算资源的动态扩缩容能力,同一弹性资源池中的队列共享计算资源。
option("url",url) .option("uri",uri) .option("database",database) .option("collection",collection) .option("user"
例代码。详情可参考:Apache Flink Hive Read & Write Flink 支持在 BATCH 和 STREAMING 模式下从Hive写入数据。 当作为BATCH应用程序运行时,Flink将写 Hive表,仅在作业完成时使这些记录可见。BATCH 写入支持追加和覆盖现有表。
件夹。 data_type 是 String 导出数据的类型,目前API支持csv和json格式数据。 database_name 是 String 被导出数据的表所在的数据库名称。 table_name 是 String 被导出数据的表名称。 compress 是 String
tables.* DLI服务,任意region,任意账号ID下,数据库名为dbname下的所有表资源。 DLI:*:*:database:databases.dbname DLI服务,任意region,任意账号ID下,数据库名为dbname的资源。 DLI:xxx:xxx:column:
创建角色 功能描述 在当前database或指定database中创建一个新的角色。 只有在database上具有CREATE_ROLE权限的用户才能创建角色。例如:管理员用户、database的owner用户和被赋予了CREATE_ROLE权限的其他用户。 每个角色必须属于且只能属于一个database。
OR REPLACE:指定该关键字后,若视图已经存在将不报错,并根据select语句更新视图的定义。 注意事项 所要创建的视图必须是当前数据库下不存在的,否则会报错。当视图存在时,可通过增加OR REPLACE关键字来避免报错。 视图中包含的表或视图信息不可被更改,如有更改可能会造成查询失败。
关联OBS桶中嵌套的JSON格式数据如何创建表 如果需要关联OBS桶中嵌套的JSON格式数据,可以使用异步模式创建表。 以下是一个示例的建表语句,展示了如何使用 JSON 格式选项来指定 OBS 中的路径: create table tb1 using json options(path
Spark开源命令支持说明 数据库 创建OBS表 创建DLI表 删除表 查看表 修改表 分区表相关 导入数据 插入数据 清空数据 导出查询结果 多版本备份恢复数据 表生命周期管理 跨源连接HBase表 跨源连接OpenTSDB表 跨源连接DWS表 跨源连接RDS表 跨源连接CSS表 跨源连接DCS表
则该配置项在该条记录下为car_BMW。 通过这种方式将数据写入到CloudTable的Hbase,速度受限,推荐使用专属资源模式。 如何创建专属资源模式,请参考《数据湖探索用户指南》中《创建队列》章节。 示例 将流qualified_cars的数据输出到表格存储服务CloudTable的HBase中。
据写入到Mysql或DWS时,在connector中设置账号、密码等属性。 Flink Jar 使用DEW获取访问凭证读写OBS 访问OBS的AKSK为例介绍Flink Jar使用DEW获取访问凭证读写OBS的操作指导。 用户获取Flink作业委托临时凭证 DLI提供了一个通用接