检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发环境 准备项 说明 操作系统 Windows系统，推荐Windows 7及以上版本。 安装Python Python版本建议使用2.7.10和3.4.0以上版本，需要配置Visual C++编译环境Visual C++ build tools 或者 Visual Studio。 安装Python依赖库
成功。 message 否 String 系统提示信息，执行成功时，信息可能为空。 schema 否 Array of Map 表的列名称和类型。 rows 否 Array of objects 预览的表内容。 请求示例 无 响应示例 同步请求成功响应样例： { "is_success":
操作。 视图是只读的，不可对它执行LOAD、INSERT操作。 视图可以包含ORDER BY和LIMIT子句，如果关联了该视图的查询语句也包含了这些子句，那么查询语句中的ORDER BY和LIMIT子句将以视图的结果为基础进行运算。 描述 使用SELECT查询结果创建新视图。视图
请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 plan_name 是 String 队列扩缩容计划名称，名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。 target_cu 是 Integer 队列扩缩容计划CU的目标值。 start_hour 是
回其值。 tableName.compositeType.* 选择所有字段，将Apache Flink复合类型（如Tuple，POJO等）和其所有直接子类型转换为简单表示，其中每个子类型都是单独的字段。 父主题： 内置函数
回其值。 tableName.compositeType.* 选择所有字段，将Apache Flink复合类型（如Tuple，POJO等）和其所有直接子类型转换为简单表示，其中每个子类型都是单独的字段。 父主题： 内置函数
bulk_insert：该操作会对主键进行排序后直接以写普通parquet表的方式插入Hudi表，该操作性能是最高的，但是无法控制小文件，而upsert和insert操作可以很好的控制小文件。 upsert： 默认操作类型。Hudi会根据主键进行判断即将插入的数据是否包含更新数据，如果包含则执行upsert，否则执行insert。
建：“表名_rt”和“表名_ro”两张表。查询后缀为rt的表等同于实时查询，查询后缀为ro的表代表读优化查询。例如：通过Spark SQL创建hudi表名为${table_name}， 同步元数据服务后，数据库中多出两张表分别为${table_name}_rt和${table_name}_ro。
作业结果总条数。 input_size 否 long 作业执行过程中扫描的数据量。 schema 否 Array of Map 作业结果列名称和类型。 rows 否 Array of objects 作业结果集。 示例 请求样例： None 成功响应样例： { "is_success":
CUs。 表1 弹性资源池实际CUs分配示例 场景说明 资源类型 CU范围 新建弹性资源池64-112CUs 添加了两个队列，分别为队列A和队列B。两个队列设置的CU范围如下： 队列A的CU范围：16-32CUs 队列B的CU范围：16-56CUs 弹性资源池 64-112CUs
Hudi Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。支持多种计算引擎，提供IUD接口，在HDFS的数据集上提供了插入更新和增量拉取的功能。 表1 支持类别 类别 详情 支持Flink表类型 源表、结果表 支持hudi表类型
不再支持混合使用年月字段和日时间字段 说明： Spark2.4.x：单位列表间隔文字可以混合使用年月字段（YEAR 和 MONTH）和日时间字段（WEEK、DAY、...、MICROSECOND）。 Spark3.3.x：单位列表间隔文字不能混合使用年月字段（YEAR 和 MONTH）和日时间字段（WEEK、DAY、
参数说明 表1 参数描述 参数 描述 db_name Database名称，由字母、数字和下划线（_）组成。不能是纯数字，且不能以下划线开头。 table_name Database中的表名，由字母、数字和下划线（_）组成。不能是纯数字，且不能以下划线开头。匹配规则为：^(?!_)(?!
同时勾选“异常自动重启”，并勾选“从Checkpoint恢复”。配置后，作业异常重启，会从最新成功的Checkpoint文件恢复内部状态和消费位点，保证数据不丢失及聚合算子等内部状态的精确一致语义。同时，为了保证数据不重复，建议使用带主键数据库或者文件系统作为目标数据源，否则下
Hbase HBase连接器支持读取和写入HBase集群。本文档介绍如何使用HBase连接器基于HBase进行SQL查询。 HBase连接器在upsert模式下运行，可以使用 DDL 中定义的主键与外部系统交换更新操作消息。但是主键只能基于HBase的rowkey字段定义。如果没
queue_scaling_policies 是 Array of objects 该队列在该弹性资源池下的扩缩容策略信息。单条策略信息包含时间段、优先级和CU范围。每个队列至少要配置一条时间段为[00:00, 24:00]的默认扩缩容策略。详细参数说明请参考表3。 表3 queue_scaling_policies
为包含待查询数据的表。 field1,field2...，field 表“DLI_TEST”中的列值，需要匹配表“DLI_TABLE”的列值和类型。 where_condition 查询过滤条件。 num 对查询结果进行限制，num参数仅支持INT类型。 values_row 想要插入到表中的值，列与列之间用逗号分隔。
作业结果总条数。 input_size 否 long 作业执行过程中扫描的数据量。 schema 否 Array of Map 作业结果列名称和类型。 rows 否 Array of objects 作业结果集。 示例 请求样例： None 成功响应样例： { "is_success":
主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源（如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等）中连续捕获、传送和存储数TB数据。DIS的更多信息，请参见《数据接入服务用户指南》。 语法格式 1 2 3 4 5 6
column_count 是 Integer 表的总列数。 columns 是 Array of Objects 表的列信息，包含列名称、类型和描述信息。具体参数详见表3。 table_type 是 String 表类型，包括： “MANAGED”：DLI表。 “EXTERNAL”：OBS表。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
