检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
connector 是 无 String connector类型，对于upsert kafka，需配置为'upsert-kafka'。 topic 是 无 String Kafka topic名。 properties.bootstrap.servers 是 无 String Kafka
是否必选 默认值 参数类型 说明 connector 是 无 String connector的类型，需配置为：hbase-2.2。 table-name 是 无 String 连接的HBase表名。 zookeeper.quorum 是 无 String HBase Zookeeper
数据湖探索（DLI）服务对于PySpark是原生支持的。 对于数据分析来说Python是很自然的选择，而在大数据分析中PySpark无疑是不二选择。对于JVM语言系的程序，通常会把程序打成Jar包并依赖其他一些第三方的Jar，同样的Python程序也有依赖一些第三方库，尤其是基于PySpark的融合
DLI弹性资源池与队列简介 DLI的计算资源是执行作业的基础，本节内容介绍DLI计算资源的模式和队列类型。 什么是弹性资源池和队列？ 在了解DLI计算资源模式前首先了解弹性资源池和队列的基本概念。 弹性资源池是DLI计算资源的一种池化管理模式，可以看做DLI计算资源的集合。DLI
DROP TABLE 命令功能 DROP TABLE的功能是用来删除已存在的Table。 命令格式 DROP TABLE [IF EXISTS] [db_name.]table_name; 参数描述 表1 DROP TABLE参数描述 参数 描述 db_name Database
Kafka 功能描述 Kafka 连接器提供从 Kafka topic 中消费和写入数据的能力。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 表1 支持类别
关系运算符 所有数据类型都可用关系运算符进行比较，并返回一个BOOLEAN类型的值。 关系运算符均为双目操作符，被比较的两个数据类型必须是相同的数据类型或者是可以进行隐式转换的类型。 DLI提供的关系运算符，请参见表1。 表1 关系运算符 运算符 返回类型 描述 A = B BOOLEAN
0/{project_id}/streaming/jobs 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 表2 query参数说明 参数名称 是否必选 参数类型 说明 job_type
开启https，则搜索“https”。 table.identifier -- 是 Doris表名，如：db.tbl username -- 是 访问Doris的用户名。 password -- 是 访问Doris的密码。 doris.request.retries 3 否 向Doris发送请求的重试次数。
如果需要获取key的值，则可以通过在Flink中设置主键获取，主键字段即对应Redis的key。 如果定义主键，则不能够定义复合主键，即主键只能是一个字段，不能是多个字段。 schema-syntax取值约束： 当schema-syntax为map或array时，非主键字段最多只能有一个，且需要为相应的map或array类型。
Queries）只会查询到给定的commit/compaction之后新增的数据。 读优化查询 读优化查询（Read Optimized Queries）是针对MOR表进行的优化，只会读取最新的commit/compaction产生的快照（不包含delta log文件）。 表1 实时查询和读优化查询的trade-off
WITH WITH子句定义查询子句的命名关系，可以展平嵌套查询或简化子查询语句。例如下面的查询语句是等价的： SELECT name, maxprice FROM (SELECT mame, MAX(price) AS maxprice FROM fruit GROUP BY name)
connector 是 无 String 指定要使用的连接器，固定为：elasticsearch-7。表示连接到 Elasticsearch 7.x 及更高版本集群。 hosts 是 无 String Elasticsearch所在集群的主机名，多个以';'间隔。 index 是 无 String
UNION：集合运算，以一定条件将表首尾相接，其中每一个SELECT语句返回的列数必须相同，列的类型和列名不一定要相同。 注意事项 UNION默认是去重的，UNION ALL是不去重的。 不能在多个集合运算间（UNION，INTERSECT，EXCEPT）加括号，否则会出错。 示例 返回“SELECT
role_name) | (USER user_name)),...); 关键字 ROLE：限定后面的rol e_name是一个角色。 USER：限定后面的user_name是一个用户。 注意事项 privilege必须为赋权对象在resource中的已授权限，否则会回收失败。Privil
参数名称 是否必选 参数类型 说明 is_success 是 Boolean 请求发送是否成功。“true”表示请求发送成功。 message 是 String 系统提示信息，执行成功时，信息可能为空。 job_id 是 String 此SQL语句将生成并提交一个新作业，返回此作
DLI资源 资源是服务中存在的对象。在DLI中，资源如下，您可以在创建自定义策略时，通过指定资源路径来选择特定资源。 表1 DLI的指定资源与对应路径 资源类型 资源名称 资源路径 queue DLI队列 queues.queuename database DLI数据库 databases
性能调优相关基本概念 消费组积压 消费组积压可通过topic最新数据offset减去该消费组已提交最大offset计算得出，说明的是该消费组当前待消费的数据总量。 如果Flink作业对接的是kafka专享版，则可通过云监控服务(CES)进行查看。具体可选择“云服务监控 > 分布式消息服务 > kafka专享版”
等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据 集群未启用Kerberos认证（普通模式）。 Doris的表名是区分大小写。 使用clou
问题描述 Spark3.x的作业日志中提示找不到global_temp数据库。 根因分析 global_temp数据库是Spark3.x默认内置的数据库，是Spark的全局临时视图。 通常在Spark作业执行注册viewManager时，会校验该数据库在metastore是否存
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
