检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
'update_user_10'); 参考创建Flink OpenSource作业,创建flink opensource sql作业,输入以下作业脚本,并提交运行。该作业模拟从kafka读取数据,并关联hive维表对数据进行打宽,并输出到print。 如下脚本中的加粗参数请根据实际环境修改。 CREATE CATALOG
property_name 格式 无。 说明 属性名称,仅支持字符串类型。 父主题: 标示符
CLUSTER BY 功能描述 按字段实现表的分桶及桶内排序。 语法格式 1 2 SELECT attr_expr_list FROM table_reference CLUSTER BY col_name [,col_name ,...]; 关键字 CLUSTER BY:
upper/ucase upper函数用于从将文本字符串转换成字母全部大写的形式。 命令格式 upper(string A) 或 ucase(string A) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 A 是 STRING 待转换的文本字符串。 返回值说明 返回STRING类型。
Subqueries EXISTS EXISTS谓词确定是否返回任意行: SELECT name FROM nation WHERE EXISTS (SELECT * FROM region WHERE region.regionkey = nation.regionkey) IN
OrderBy & Limit OrderBy 功能描述 主要根据时间属性按照升序进行排序 注意事项 目前仅支持根据时间属性进行排序 示例 对订单根据订单时间进行升序排序 SELECT * FROM Orders ORDER BY orderTime; Limit 功能描述 限制返回的数据结果个数
CONVERT TO DELTA 命令功能 CONVERT TO DELTA 命令将现有的 Parquet 表就地转换为 Delta 表。 此命令会列出目录中的所有文件,创建 Delta Lake 事务日志来跟踪这些文件,并通过读取所有 Parquet 文件的页脚来自动推断数据架构。
Flink作业推荐配置指导 用户在创建Flink作业时,可以通过如下配置实现流应用的高可靠性能。 用户在消息通知服务(SMN)中提前创建一个“主题”,并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知,单击链接确认订阅即可。 图1 创建主题 图2
quorum 是 无 String HBase Zookeeper quorum 信息。格式为:ZookeeperAddress:ZookeeperPort。 以MRS Hbase集群为例,该参数的所使用Zookeeper的ip地址和端口号获取方式如下: 在MRS Manager上,选择“集群
quorum 是 无 String HBase Zookeeper quorum 信息。格式为:ZookeeperAddress:ZookeeperPort。 以MRS Hbase集群为例,该参数的所使用Zookeeper的ip地址和端口号获取方式如下: 在MRS Manager上,选择“集群
"queue_type": "sql", "description": "test", "cu_count": 16, "enterprise_project_id": "elastic_pool_dli" } 响应示例 { "is_success": true,
UNION | INTERSECT | EXCEPT UNION、INTERSECT和EXCEPT都是集合操作。都用来将多个SELECT语句的结果集合并成单个结果集。 UNION UNION将第一个查询的结果集中的所有行与第二个查询的结果集中的行合并。 query UNION [ALL
zookeeper.quorum 是 无 String HBase Zookeeper实例信息,格式为:ZookeeperAddress:ZookeeperPort 以MRS Hbase集群为例,该参数的所使用Zookeeper的ip地址和端口号获取方式如下: 在MRS Manager上,选择“集群
ALTER COLUMN 功能开启 配置参数: hoodie.schema.evolution.enable=true 命令功能 ALTER TABLE ... ALTER COLUMN语法用于修改当前列属性包括列类型、列位置、列comment。 命令语法 ALTER TABLE
ALTER COLUMN 命令功能 ALTER TABLE ... ALTER COLUMN语法用于修改当前列属性包括列comment、空约束,当前不支持修改列类型、列位置。 注意事项 目前不支持修改列类型。 目前不支持修改已存在列的顺序。 目前不支持指定顺序添加列。 命令语法 ALTER
zookeeper.quorum 是 无 String HBase Zookeeper实例信息,格式为:ZookeeperAddress:ZookeeperPort 以MRS Hbase集群为例,该参数的所使用Zookeeper的ip地址和端口号获取方式如下: 在MRS Manager上,选择“集群
Upsert Kafka结果表 功能描述 DLI将Flink作业的输出数据以upsert的模式输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。
Upsert Kafka源表 功能描述 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。 作为 source,upsert-kafka 连接器生产changel
Upsert Kafka结果表 功能描述 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。DLI将Flink作业的输出数据以upsert的模式输出到Kafka中。
等待作业状态会变为“运行中”,单击作业名称,可以查看作业详细运行情况。 图19 作业运行状态 使用Kafka客户端向指定topic发送数据,模拟实时数据流。 具体方法请参考DMS-连接实例生产消费信息。 图20 模拟实时数据流 发送命令如下: sh kafka_2.11-2.3.0/bin/kafka-console-producer