检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
跨源连接RDS表中create_date字段类型是datetime，为什么DLI中查出来的是时间戳呢？ Spark中没有datetime数据类型，其使用的是TIMESTAMP类型。 您可以通过函数进行转换。 例如： select cast(create_date as string)
信息补全，而维表就是代表存储数据维度信息的数据源。常见的用户维表有 MySQL，Redis等。 结果表：Flink作业输出的结果数据表，将每条实时处理完的数据写入的目标存储，如 MySQL，HBase 等数据库。 示例： Flink 实时消费用户订单数据的 Kafka 源表，通过
url 是 数据库的URL。 table-name 是 读取数据库中的数据所在的表名。 driver 否 连接数据库所需要的驱动。若未配置，则会自动通过URL提取。 username 否 数据库认证用户名，需要和'password'一起配置。 password 否 数据库认证密码，需要和'username'一起配置。
SQL语法列表。参数说明，示例等详细信息请参考具体的语法说明。 表1 批作业SQL语法 语法分类 操作链接 数据库相关语法 创建数据库 删除数据库 查看指定数据库 查看所有数据库 创建OBS表相关语法 使用DataSource语法创建OBS表 使用Hive语法创建OBS表 创建DLI表相关语法
DDL：与传统DDL操作一致，即创建和删除数据库，创建和删除表的作业。 QUERY：执行SQL查询数据的作业。 INSERT：执行SQL插入数据的作业。 UPDATE：更新数据。 DELETE：删除SQL作业。 DATA_MIGRATION：数据迁移。 RESTART_QUEUE：重启队列。 SCALE_QUEUE：
column_name 示例 回收用户user_name1对于数据库db1的删除数据库权限。 1 REVOKE DROP_DATABASE ON databases.db1 FROM USER user_name1; 回收用户user_name1对于数据库db1的表tb1的SELECT权限。 1 REVOKE
如果作业运行成功则作业状态显示为“已成功”，通过以下操作查看创建的数据库和表。 可以在DLI控制台，左侧导航栏，单击“SQL编辑器”。在“数据库”中已显示创建的数据库“test_sparkapp”。 图14 查看创建的数据库 双击数据库名，可以在数据库下查看已创建成功的DLI和OBS表。 图15 查看表
connector.url 是 数据库的URL connector.table 是 读取数据库中的数据所在的表名 connector.driver 否 连接数据库所需要的驱动。若未配置，则会自动通过URL提取 connector.username 否 数据库认证用户名，需要和'connector
单击需删除表的数据库名，进入该数据库的“表管理”页面。 选中目标表，单击“操作”栏中的“更多 > 删除表”。 在弹出的确认对话框中，单击“是”。 在“SQL编辑器”页面删除表。 在SQL作业管理控制台的顶部菜单栏中，选择“SQL编辑器”。 在左侧导航栏选择“数据库”页签，鼠标左键
队列引擎版本升级后，在创建表时，提示权限不足怎么办？ 什么是DLI分区表的列赋权？ 更新程序包时提示权限不足怎么办？ 执行SQL查询语句报错：DLI.0003: Permission denied for resource.... 已经给表授权，但是提示无法查询怎么办？ 表继承数据库权限后，对表重复赋予已继承的权限会报错吗？
SQL作业使用咨询 DLI是否支持创建临时表？ 问题描述：临时表主要用于存储临时中间结果，当事务结束或者会话结束的时候，临时表的数据可以自动删除。例如MySQL中可以通过：“create temporary table ...” 语法来创建临时表，通过该表存储临时数据，结束事务或者会话后该表数据自动清除。当前DLI是否支持该功能？
支持基于作业优先级动态调整作业的使用资源。 仅支持YARN集群。 上下游数据连接 除了开源connector之外，还提供开箱即用的connector，包括数据库（RDS、GaussDB）、消息队列（DMS）、数据仓库（DWS）、对象存储（OBS） 相比开源connector有较多易用性和稳定性提升。 仅提供开源connector。
弹性资源池并在弹性资源池中添加队列请参考创建弹性资源池并添加队列。 用户首次使用子账号创建队列时，需要先使用主账号登录控制台，在DLI的数据库中保持记录，才能创建队列。 新队列第一次运行作业时，需要一定的时间，通常为6~10分钟。 按需队列创建完成后，如果在1小时内未运行作业，系统将进行释放。
从Kafka读取数据写入到RDS 从Kafka读取数据写入到DWS 从Kafka读取数据写入到Elasticsearch 从MySQL CDC源表读取数据写入到DWS 从PostgreSQL CDC源表读取数据写入到DWS Flink作业高可靠推荐配置指导（异常自动重启） 父主题： Flink作业开发指南
创建Hive Catalog 简介 Catalog提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。 数据处理最关键的方面之一是管理元数据。 元数据可以是临时的，例如临时表、或者通过TableEnvironment注册的UDF。 元数据也可以是持久化的，例如Hive
12新增支持DataGen源表、DWS源表、JDBC源表、MySQL CDC源表、Postgres CDC源表、Redis源表、Upsert Kafka源表、Hbase源表。 Flink 1.12新增支持小文件合并功能。 Flink 1.12新增支持Redis维表、RDS维表。 父主题： 版本支持公告
创建OBS表时怎样指定OBS路径 场景概述 创建OBS表时，OBS路径须指定到数据库下的具体表层路径。路径格式为：obs://xxx/数据库名/表名。 创建OBS表更多语法介绍请参考《数据湖探索Spark SQL语法参考》。 正确示例 CREATE TABLE `di_selle
单击需导出数据对应数据库名称，进入该数据库“表管理”页面。 单击目标表“操作”栏中的“更多”，选择“表属性”。 单击“预览”页签，即可预览该表数据。 在“SQL编辑器”页面预览数据。 在管理控制台左侧，单击“SQL编辑器”。 在“SQL编辑器”页面的左侧导航栏中，选择“数据库”页签。 鼠
= 'jdbc:mysql://MySQLAddress:MySQLPort/flink',--其中url中的flink表示MySQL中orders表所在的数据库名 'table-name' = 'orders', 'username' = 'MySQLUsername'
本示例演示的操作需要跨源连接RDS外部数据源，所以需要创建跨源连接。如果作业不需要连接外部数据源，则该步骤可以跳过。 登录RDS控制台，创建RDS数据库实例。 具体操作请参见购买RDS for MySQL实例。 登录RDS实例后，单击“新建数据库”，创建名称为“test2”的数据库。 在“tes
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
