检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--+------------------+-------------------------+ ANTI 反窗口连接(Anti Window Join)是内窗口连接(Inner Window Join)的相反操作:它包含了每个公共窗口内所有未关联上的行。 Flink SQL> SELECT
表时通过ssl_auth_name关联跨源认证。 Kerberos类型跨源认证支持连接的数据源 Kerberos类型跨源认证支持连接的数据源如表1所示。 表1 Kerberos类型跨源认证支持连接的数据源 作业类型 表类型 数据源 约束与限制 Flink OpenSource SQL
Shuffle的数据倾斜基本是由于join中的key值数量不均衡导致。 对join连接条件进行group by 和count,统计每个连接条件的key值的数量。示例如下: lefttbl表和righttbl表进行join关联,其中lefttbl表的num为连接条件的key值。则可以对lefttbl.num进行group
表2 query参数 参数名称 是否必选 参数类型 说明 limit 否 String 查询最大连接个数,默认为100。 offset 否 String 查询结果偏移量,默认为0(连接以创建时间进行排序)。 auth_info_name 是 String 认证信息名,同一个project下唯一。
"job_mode":"async" } 状态码 状态码如表5所示。 表5 状态码 状态码 描述 200 导入成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: SQL作业相关API(废弃)
hive_sync.jdbcurl 连接hive jdbc指定的连接。 "" hoodie.datasource.hive_sync.use_jdbc 是否使用Hive jdbc方式连接Hive同步Hudi表信息。建议该值设置为false,设置为false后jdbc连接相关配置无效。 true
析IO。 参数TYPE DISTRIBUTED用于显示分片后的计划(fragmented plan)。每一个fragment都会被一个或者多个节点执行。Fragments separation表示数据在两个节点之间进行交换。Fragment type表示一个fragment如何被
datasourceauth DLI跨源认证信息 datasourceauth.name edsconnections DLI增强跨源 edsconnections.连接ID 父主题: 权限管理
低时延、需要快速响应的场景。适用于实时监控、在线分析等场景。 Flink OpenSource作业:提交作业时可以使用DLI提供的标准的连接器(connectors)和丰富的API,快速与其他数据系统的集成。 Flink Jar作业:允许用户提交编译为Jar包的Flink作业,提
4或以上集群版本,创建CSS安全集群,并下载安全集群证书(CloudSearchService.cer)。 登录云搜索服务控制台,单击“集群管理”,选择需要建立跨源连接的集群,如图1所示: 图1 CSS集群管理 单击“安全模式”中的“下载证书”下载安全证书。 使用keytool工具生成keystore和truststore文件。
赋予指定用户弹性资源池权限 √ × √ √ REVOKE_PRIVILEGE 移除指定用户弹性资源池权限 √ × √ √ 增强型跨源连接 BIND_QUEUE 增强型跨源连接绑定队列 仅用于跨项目授权。 × × × × 父主题: 权限管理
手动在OBS表的分区目录下添加了数据,但是无法查询到数据怎么办? 为什么insert overwrite覆盖分区表数据的时候,覆盖了全量数据? 跨源连接RDS表中create_date字段类型是datetime,为什么DLI中查出来的是时间戳呢? SQL作业执行完成后,修改表名导致datasize不正确怎么办?
当作业异常时,向该SMN主题推送告警信息。 main_class 否 String 作业入口类。 entrypoint_args 否 String 作业入口类参数,多个参数之间空格分隔。 restart_when_exception 否 Boolean 是否开启异常重启功能,默认值为“false”。 entrypoint
CONCAT_WS(string1, string2, string3, ...) 返回将 STRING2, STRING3, … 与分隔符 STRING1 连接起来的字符串。 在要连接的字符串之间添加分隔符。 如果 STRING1 为 NULL,则返回 NULL。 与 concat() 相比,concat_ws()
据库服务DDS,数据仓库服务GaussDB(DWS),MapReduce服务MRS,云数据库RDS等。使用DLI的跨源能力,需要先创建跨源连接。 管理控制台界面具体操作请参考《数据湖探索用户指南》。 使用Spark作业跨源访问数据源支持使用scala,pyspark和java三种语言进行开发。
'blackhole' ); 参数说明 表1 选项 是否必要 默认值 类型 描述 connector 是 无 String 指定需要使用的连接器,此处应为'blackhole'。 示例 通过DataGen源表产生数据,BlackHole结果表接收传来的数据。 create table
下面的示例展示了一个经典的业务流水线,维度表来自 Hive,每天通过批处理流水线作业或 Flink 作业更新一次,kafka流来自实时在线业务数据或日志,需要与维度表连接以扩充流。 使用spark sql 创建 hive obs 外表,并插入数据。 CREATE TABLE if not exists dimension_hive_table
迁移数据至DLI 配置DLI读写外部数据源 如果您不想将数据导入OBS或DLI的数据表中,DLI提供的跨源访问能力,支持您在不迁移数据的情况下,连接数据源获取数据并进行数据分析。 具体操作请参考配置DLI读写外部数据源数据的操作流程。 父主题: 数据迁移与数据传输
行进度,sub_job_id展示。 sub_jobs 否 Array of Object 正在运行作业的子作业的详细信息,一个作业可能包含多个子作业。具体请参考表3。 表3 sub_jobs参数说明 参数名称 是否必选 参数类型 说明 id 否 Integer 子作业ID,对应开源spark
墓碑消息(在键上删除)。因此,如果该字段可能具有 null 值,我们建议避免使用 upsert-kafka 连接器和 raw format 作为 value.format。 Raw format 连接器是内置的。更多具体使用可参考开源社区文档:Raw Format。 支持的Connector Kafka