检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
spark.sql.badRecordsPath - Bad Records的路径。
云数据库RDS相关介绍请参考《云数据库服务产品介绍》。 父主题: 使用Spark作业跨源访问数据源
跨源作业可将数据存储在对应的服务中,目前支持CloudTable,CSS,DCS,DDS,DWS,MRS,RDS等。 DLI表与OBS表有什么区别? DLI表表示数据存储在本服务内部,用户不感知数据存储路径。
spark.sql.badRecordsPath - Bad Records的路径。
使用Spark作业跨源访问数据源 概述 对接CSS 对接DWS 对接HBase 对接OpenTSDB 对接RDS 对接Redis 对接Mongo 父主题: Spark Jar作业开发指南
跨源连接相关 跨源连接HBase表 跨源连接OpenTSDB表 跨源连接DWS表 跨源连接RDS表 跨源连接CSS表 跨源连接DCS表 跨源连接DDS表 跨源连接Oracle表
用户可以直接使用SQL从这些服务中读写数据,如DIS、OBS、CloudTable、MRS、RDS、SMN、DCS等。
message String 无 请求示例 更新跨源认证的名称为rds3。
该文件的大小(bytes) 权限需求 由DLI提供的元数据服务 SQL权限: database table 无 SELECT 细粒度权限:dli:table:select 由LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。
database_count 否 Integer 数据库的总数。 databases 否 Array of objects 数据库信息。具体参数请参见表4。
+ database); return database; } “default”为内置数据库,不能创建名为“default”的数据库。
spark.sql.badRecordsPath - Bad Records的路径。 dli.sql.sqlasync.enabled true DDL和DCL语句是否异步执行,值为“true”时启用异步执行。
迁移外部数据源数据至DLI 迁移数据场景概述 使用CDM迁移数据至DLI 典型场景示例:迁移Hive数据至DLI 典型场景示例:迁移Kafka数据至DLI 典型场景示例:迁移Elasticsearch数据至DLI 典型场景示例:迁移RDS数据至DLI 典型场景示例:迁移DWS数据至
MySQL: sys.datasource.rds RDS PostGre: sys.datasource.rds DCS: sys.datasource.redis CSS: sys.datasource.css DLI内部相关模块: sys.res.dli-v2 sys.res.dli
Flink OpenSource SQL作业开发 从Kafka读取数据写入到RDS 从Kafka读取数据写入到DWS 从Kafka读取数据写入到Elasticsearch 从MySQL CDC源表读取数据写入到DWS 从PostgreSQL CDC源表读取数据写入到DWS Flink
", "connection_url": "", "cluster_name": "", "service": "RDS", "create_time": 1652701307460 } 状态码 状态码如表5所示。
DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。
从MySQL CDC源表读取数据写入到DWS 介绍使用Flink OpenSource SQL作业从MySQL CDC源表读取数据写入到DWS的开发示例。
DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。 DWS的更多信息,请参见《数据仓库服务管理指南》。
Flink 1.12新增支持Redis维表、RDS维表。 父主题: 版本支持公告