检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Access key cannot be null 问题根因 该Flink SQL作业在配置作业运行参数时，有选择保存作业日志或开启Checkpoint，配置了OBS桶保存作业日志和Checkpoint。但是运行该Flink SQL作业的IAM用户没有OBS写入权限导致该问题。 解决方案
SQL作业相关 数据库相关 表相关 作业相关 父主题： Python SDK
访问，格式为"协议头://内网IP:内网端口/数据库名"，例如："jdbc:postgresql://192.168.0.77:8000/postgres"。 说明： DWS的连接地址格式为："协议头://访问地址:访问端口/数据库名" 例如： jdbc:postgresql:/
数据 Flink Opensource SQL如何解析复杂嵌套 JSON？ Flink Opensource SQL从RDS数据库读取的时间和RDS数据库存储的时间为什么会不一致？ Flink Opensource SQL Elasticsearch结果表failure-hand
故障恢复 系统级故障恢复 DLI系统采用存算分离的架构，计算集群基于K8s资源调度和故障切换机制，在系统故障时，支持自动故障恢复。 作业级故障恢复 Flink、Spark作业支持配置自动重启恢复机制，在开启自动重启功能后，当作业出现异常时将自动重启恢复作业。 父主题： 安全
SDK使用说明。 资源相关 介绍上传资源包、查询所有资源包、查询指定资源包、删除资源包的Java SDK使用说明。 SQL作业相关 介绍数据库相关、表相关、作业相关Java SDK使用说明。 Flink作业相关 介绍新建Flink作业、查询作业详情、查询作业列表等Java SDK使用说明。
资源相关API（废弃） 数据库相关API（废弃） 表相关API（废弃） 父主题： 历史API
INSERT/UPDATE/DELETE 消息到 Flink SQL 系统中。在许多情况下，这对于利用此功能很有用。 例如： 将数据库中的增量数据同步到其他系统 审计日志 数据库的实时物化视图 临时连接更改数据库表的历史等等。 Flink 还支持将 Flink SQL 中的 INSERT/UPDATE/DELETE
。 connector.table 是 读取数据库中的数据所在的表名 connector.driver 否 jdbc连接驱动，默认为: org.postgresql.Driver。 connector.username 否 数据库认证用户名，需要和'connector.password'一起配置
权限相关API（废弃） 队列赋权（废弃） 查看队列的使用者（废弃） 数据赋权（用户）（废弃） 查看数据库的使用者（废弃） 查看表的使用者（废弃） 查看表的用户权限（废弃） 父主题： 历史API
、avro数据类型）。 说明： 不支持导入Hive表生成的avro格式数据。 database_name 是 String 导入表所属的数据库名称。 table_name 是 String 导入表的名称。 with_column_header 否 Boolean 导入数据中的第一
建议作业最大并行数为计算单元2倍为宜。 勾选“保存作业日志”，选择一个OBS桶。如果该桶未授权，需要单击“立即授权”进行授权。配置该参数，可以在作业异常失败后，将作业日志保存到用户的OBS桶下，方便用户定位故障原因。 图3 保存作业日志 勾选“作业异常告警”，选择1中创建的“S
作业开始的时间。是单位为“毫秒”的时间戳。 duration 是 Long 作业执行的时间间隔，单位毫秒。 export_mode 否 String 导出数据或保存查询结果时，指定的导出模式。 范围为“ErrorIfExists”，“Overwrite”。 “ErrorIfExists”：存在即报错。
安装完成后，可以通过运行以下命令来验证dbt是否正确安装： dbt --version 步骤2：配置DBT连接DLI 配置profiles.yml文件用于保存DBT与DLI的连接信息。 在安装DBT的服务器的主目录下找到 .dbt 目录，创建或编辑 profiles.yml 文件。 例如，在Windows系统中，路径可能是
是否必选 参数类型 说明 sql 是 String 待执行的SQL语句。 currentdb 否 String SQL语句执行所在的数据库。当创建新数据库时，不需要提供此参数。 current_catalog 否 String 待提交作业的表的默认catalog。不填时默认使用DLI
database_name 是 String 待删除的表所在的数据库名称。 table_name 是 String 待删除的表名称。 表2 query参数 参数名称 是否必选 参数类型 说明 async 否 Boolean 是否异步方式删除数据库，取值为“true”或者“false”。默认值为：false。
创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 Spark离线完成Compaction计划的执行，以及Clean和Archive操作
DELETE 消息到 Flink SQL 系统中。在很多情况下，利用这个特性非常的有用，例如 将增量数据从数据库同步到其他系统 日志审计 数据库的实时物化视图 关联维度数据库的变更历史，等等。 Flink 还支持将 Flink SQL 中的 INSERT / UPDATE / DELETE
创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全
在数据湖探索服务中创建表。 登录DLI控制台，左侧导航栏单击“SQL编辑器”，执行引擎选择“spark”，选择执行的队列和数据库。本次演示队列和数据库选择“default”。 下载的文件中包含时间用量等，按表头意义在DLI上创建表，具体可以参考如下示例，其中amount列为费用。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
