检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink OpenSource SQL作业开发 从Kafka读取数据写入到RDS 从Kafka读取数据写入到DWS 从Kafka读取数据写入到Elasticsearch 从MySQL CDC源表读取数据写入到DWS 从PostgreSQL CDC源表读取数据写入到DWS Flink
Flink SQL作业消费Kafka后sink到es集群,作业执行成功,但未写入数据 问题现象 客户创建Flink SQL作业,消费Kafka后sink到es集群,作业执行成功,但无数据。 原因分析 查看客户作业脚本内容,排查无问题,作业执行成功,出现该问题可能的原因如下: 数据不准确
db_url = "mysql://192.168.x.x:3306/test2", /* 格式为mysql://RDS数据库实例的内网地址:RDS数据库端口/RDS创建的数据库名 */ table_name = "tabletest2" /* RDS数据下的表名 */
datagen'); --使用jdbc connector创建目标表my_sink CREATE TABLE my_sink ( name VARCHAR, age BIGINT ) WITH ( 'connector' = 'jdbc', 'url' = 'jdbc:mysql
跨源作业可将数据存储在对应的服务中,目前支持CloudTable,CSS,DCS,DDS,DWS,MRS,RDS等。 DLI表与OBS表有什么区别? DLI表表示数据存储在本服务内部,用户不感知数据存储路径。
建议搭配以下服务使用 DIS、CDM、DES、OBS、RDS、CloudTable 图4 地理大数据分析
示例 该示例是利用Postgres-CDC实时读取RDS PostgreSQL中的数据,并写入到Print结果表中,其具体步骤如下(当前示例使用的数据库引擎版本是RDS PostgreSQL 11.11): 参考增强型跨源连接,根据PostgreSQL所在的虚拟私有云和子网创建相应的增强型跨源
在DLI控制台删除数据库 根据实际使用情况,您可以通过删除数据库。 注意事项 具有正在运行中的作业的数据库或者表不能删除。 管理员用户、数据库的所有者和具有删除数据库权限的用户可以删除数据库。 数据库和表删除后,将不可恢复,请谨慎操作。 删除数据库 在管理控制台左侧,单击“数据管理
在DLI控制台配置数据库权限 数据库权限操作场景 针对不同用户,可以通过权限设置分配不同的数据库权限。 管理员用户和数据库的所有者拥有所有权限,不需要进行权限设置且其他用户无法修改其数据库权限。 给新用户设置数据库权限时,该用户所在用户组的所属区域需具有Tenant Guest权限
条件函数 函数说明 表1 条件函数 条件函数 函数说明 CASE value WHEN value1_1 [, value1_2 ]* THEN result1 [ WHEN value2_1 [, value2_2 ]* THEN result2 ]* [ ELSE resultZ
`obs://bucket_name/tbl_path` select query; 参数描述 表1 INSERT INTO参数 参数 描述 database_name Database名称,由字母、数字和下划线(_)组成。
SHOW TABLE 命令功能 SHOW TABLES命令用于显示所有在当前database中的table,或所有指定database的table。
命令格式 显示表统计信息: DESCRIBE [EXTENDED|FORMATTED] [database_name.]table_name|DELTA.
日期函数 在这一章节使用与MySQL date_parse和str_to_date方法兼容的格式化字符串。
在DLI控制台配置表权限 表权限操作场景 针对不同用户,可以通过权限设置分配不同的表权限。 管理员用户和表的所有者拥有所有权限,不需要进行权限设置且其他用户无法修改其表权限。 给新用户设置表权限时,该用户所在用户组的所属区域需具有Tenant Guest权限。关于Tenant Guest
与关系型数据库服务(RDS)的关系 关系型数据库(Relational Database Service)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下两种。 数据来源:DLI服务提供DataFrame和SQL方式从RDS中导入数据到DLI。
参数说明 表1 参数描述 参数 描述 db_name Database名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以下划线开头。 table_name Database中的表名,由字母、数字和下划线(_)组成。不能是纯数字,且不能以下划线开头。 匹配规则为:^(?!
* FROM [database_name.]table_name VERSION AS OF version_code 参数描述 表1 查询Delta表历史版本参数说明 参数 描述 database_name Database名称,由字母、数字和下划线(_)组成。
可类比MySQL的nvl功能,经常用于转空值为0或者' '(空字符)。
分区相关 添加分区(只支持OBS表) 重命名分区(只支持OBS表) 删除分区 指定筛选条件删除分区(只支持OBS表) 修改表分区位置(只支持OBS表) 更新表分区信息(只支持OBS表) REFRESH TABLE刷新表元数据 父主题: 表相关