检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
datagen'); --使用jdbc connector创建目标表my_sink CREATE TABLE my_sink ( name VARCHAR, age BIGINT ) WITH ( 'connector' = 'jdbc', 'url' = 'jdbc:mysql
在DLI控制台删除数据库 根据实际使用情况，您可以通过删除数据库。 注意事项 具有正在运行中的作业的数据库或者表不能删除。 管理员用户、数据库的所有者和具有删除数据库权限的用户可以删除数据库。 数据库和表删除后，将不可恢复，请谨慎操作。 删除数据库 在管理控制台左侧，单击“数据管理
= "com.mysql.jdbc.Driver" # Create a DataFrame and initialize the DataFrame data.
在DLI控制台配置数据库权限 数据库权限操作场景 针对不同用户，可以通过权限设置分配不同的数据库权限。 管理员用户和数据库的所有者拥有所有权限，不需要进行权限设置且其他用户无法修改其数据库权限。 给新用户设置数据库权限时，该用户所在用户组的所属区域需具有Tenant Guest权限
日期函数 在这一章节使用与MySQL date_parse和str_to_date方法兼容的格式化字符串。
1 2 3 4 5 6 7 sparkSession.sql( "CREATE TABLE IF NOT EXISTS dli_to_rds USING JDBC OPTIONS ( 'url'='jdbc:mysql://to-rds-1174404209-cA37siB6
条件函数 函数说明 表1 条件函数 条件函数 函数说明 CASE value WHEN value1_1 [, value1_2 ]* THEN result1 [ WHEN value2_1 [, value2_2 ]* THEN result2 ]* [ ELSE resultZ
在DLI控制台配置表权限 表权限操作场景 针对不同用户，可以通过权限设置分配不同的表权限。 管理员用户和表的所有者拥有所有权限，不需要进行权限设置且其他用户无法修改其表权限。 给新用户设置表权限时，该用户所在用户组的所属区域需具有Tenant Guest权限。关于Tenant Guest
分区相关 添加分区（只支持OBS表） 重命名分区（只支持OBS表） 删除分区 指定筛选条件删除分区（只支持OBS表） 修改表分区位置（只支持OBS表） 更新表分区信息（只支持OBS表） REFRESH TABLE刷新表元数据 父主题： 表相关
集合函数 函数说明 表1 集合函数说明 集合函数 函数说明 CARDINALITY(array) 返回数组中元素个数 array ‘[’ integer ‘]’ 返回数组索引为integer的元素。索引从1开始 ELEMENT(array) 返回数组中的唯一元素。 若数组为空，则返回
可类比MySQL的nvl功能，经常用于转空值为0或者' '（空字符）。
从MySQL CDC源表读取数据写入到DWS 介绍使用Flink OpenSource SQL作业从MySQL CDC源表读取数据写入到DWS的开发示例。
db_url = "mysql://192.168.x.x:3306/test2", /* 格式为mysql://RDS数据库实例的内网地址:RDS数据库端口/RDS创建的数据库名 */ table_name = "tabletest2" /* RDS数据下的表名 */
REFRESH TABLE刷新表元数据 功能描述 Spark为了提高性能会缓存Parquet的元数据信息。当更新了Parquet表时，缓存的元数据信息未更新，导致Spark SQL查询不到新插入的数据作业执行报错，报错信息参考如下： DLI.0002: FileNotFoundException
自定义函数 概述 DLI支持三种自定义函数： UDF：自定义函数，支持一个或多个输入参数，返回一个结果值。 UDTF：自定义表值函数，支持一个或多个输入参数，可返回多行多列。 UDAF：自定义聚合函数，将多条记录聚合成一个值。 暂不支持通过python写UDF、UDTF、UDAF自定义函数
使用DLI将CSV数据转换为Parquet数据 应用场景 Parquet是面向分析型业务的列式存储格式，这种格式可以加快查询速度，查询Parquet格式数据时，只检查所需要的列并对它们的值执行计算，也就是说，只读取一个数据文件或表的一小部分数据。Parquet还支持灵活的压缩选项，
条件函数 函数说明 表1 条件函数 条件函数 函数说明 CASE value WHEN value1_1 [, value1_2 ]* THEN result1 [ WHEN value2_1 [, value2_2 ]* THEN result2 ]* [ ELSE resultZ
Hash函数 函数说明 表1 Hash函数说明 Hash函数 函数说明 MD5(string) 返回以32个十六进制数所表示的字符串的MD5哈希值 若字符串是null，则返回null SHA1(string) 返回以40个十六进制所表示的字符串的SHA-1哈希值 若字符串是null
Hadoop、Hive、Hudi、Mysql-cdc相关依赖，作用域请使用provided，即在依赖中添加<scope>provided</scope>。
SQL作业执行完成后，修改表名导致datasize不正确怎么办？ 在执行SQL作业后立即修改表名，可能会导致表的数据大小结果不正确。 这是因为DLI在执行SQL作业时，会对表进行元数据更新，如果在作业执行完成前修改了表名，会和作业的元数据更新过程冲突，从而影响对数据大小的判断。 为了避免这种情况
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
