检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
sink用于将数据输出到分布式文件系统HDFS或者对象存储服务OBS等文件系统。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。 考虑到输入流可以是无界的，每个桶中的数据被组织成有限大小的Part文件。完全可以配置为基于时间的方式往桶中写入数据，比如可以设置每个小时的数据写入一
不支持删除分区列或者分桶列。 DROP COLUMN不支持rctext、rcbinary、rcfile 格式存储的表。由于connector对不同文件格式的列访问模式不同，drop column后可能会出现查询失败的情况，例如： 对于orc格式存储的非分区表 ，drop column后如果查询失败，需要设置Session属性：
Hive语法来编写SQL语句。通过提供与Hive语法的兼容性，改善与Hive的互操作性，并减少用户需要在Flink和Hive之间切换来执行不同语句的情况。详情可参考：Apache Flink Hive 方言 功能描述 Flink目前支持两种SQL 方言: default 和 hive。您需要先切换到Hive
location_path OBS路径，指定该路径Hudi表会创建为外表。 options_list Hudi table属性列表。 query_statement select查询表达式 示例 创建分区表 create table h2 using hudi options (type =
Column("c11", new DecimalTypeInfo(25,5), "test for c11"); 创建OBS表 DLI提供创建OBS表的接口。您可以使用该接口创建数据存储在OBS的表。示例代码如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14
单击右上角“导出作业”，打开“导出作业”对话框。 图2 导出作业 选择保存作业的OBS桶。单击“下一步”。 选择待导出的作业。 默认导出所有作业，也可以勾选“自定义导出”选择需要导出的作业。 单击“确认导出”，完成导出作业。 导入作业 用户可以将保存在OBS桶中的Flink作业配置文件导入至DLI的Flink作业管理中。
用于缓存、事件发布或订阅、高速队列等场景，提供字符串、哈希、列表、队列、集合结构直接存取，基于内存，可持久化。有关Redis的详细信息，请访问Redis官方网站https://redis.io/。 前提条件 要建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建
${table_name}; 实时视图读取（Spark jar作业为例）： Spark jar作业可以通过两种方式来读取Hudi表：Spark datasource API 或者通过 SparkSession 提交 SQL。 配置项 hoodie.datasource.query.type
15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据 如果
典型场景示例：配置弹性资源池队列扩缩容策略 场景介绍 一个企业有多个部门，多个部门不同业务数据分析的时间段可能有所差异，具体场景如下： A部门：在00:00-09:00时间段内资源请求量大，其他时间段有短时间的资源请求量不大的任务运行。 B部门：在10:00-22:00时间段内资
2、TLS1.3进行传输中加密，所有华为云DLI服务的API调用都支持 HTTPS 来对传输中的数据进行加密。 Spark作业传输通信加密 Spark作业支持通过配置表1中的参数开启通信加密。 请确保已上传密钥和证书到指定的OBS路径下，并在作业配置中的其他依赖文件中引入。 表1 Spark作业传输开启通信加密配置项
HISTORY命令查看表的备份数据。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表，具体建表SQL语法可以参考使用Hive语法创建OBS表。 语法格式 查看某个非分区表的备份数据信息 SHOW HISTORY FOR TABLE [db_name
公共参数 状态码 错误码 获取项目ID 获取账号ID
CREATE SCHEMA web; 在指定路径创建schema，路径必须是obs的并行桶，路径末尾不能加/，指定路径兼容写法示例： CREATE SCHEMA test_schema_5 LOCATION 'obs://${bucket}/user/hive'; 在名为Hive的CA
DLI API类 如何获取AK/SK？ 如何获取项目ID？ 提交SQL作业时，返回“unsupported media Type”信息 创建SQL作业的API执行超过时间限制，运行超时报错 API接口返回的中文字符为乱码，如何解决？
OpenTSDB连接地址。 获取OpenTSDB连接地址需要先创建跨源连接，管理控制台操作请参考增强型跨源连接。 访问CloudTable OpenTSDB，填写OpenTSDB链接地址。 访问MRS OpenTSDB，若使用增强型跨源连接，填写OpenTSDB所在节点IP与端口，格式为"IP
[database_name.]table_name|DELTA.`obs_path` [LIMIT n] 示例 DESCRIBE HISTORY delta_table0; DESCRIBE HISTORY delta.`obs://tablePath` LIMIT 1; 系统响应 返回
JobManager和TaskManager信息每分钟刷新一次，默认展示最近一分钟的运行日志。 如果作业配置了保存作业日志的OBS桶，更多历史日志信息可以到保存日志的OBS桶中下载查看。 在OBS中，上传文件的具体方式和要求可以参考《对象存储服务快速入门》>“上传对象”。 如果作业没有运行，则无法查看TaskManager信息。
to refresh. 问题根因 API以同步模式调用运行时会有两分钟的超时时间限制，如果API调用超过该时间限制则会超时报错。 解决方案 调用“提交SQL作业”API时可以通过设置“dli.sql.sqlasync.enabled”参数为“true”来异步运行该作业。 具体可以参考提交SQL作业API。
193:3306/postgres"。 说明： 经典型跨源的连接地址默认格式为："协议头://访问地址:访问端口" 例如：jdbc:mysql://to-rds-1174405119-oLRHAGE7.datasource.com:3306 如果想要访问RDS的postgre集群，需要将连接地址中的协议头修改为"
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
