检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在“测试连通性”界面,根据步骤1:获取外部数据源的内网IP、端口和安全组中获取的数据源的IP和端口,地址栏输入“数据源内网IP:数据源端口”,单击“测试”测试DLI到外部数据源网络是否可达。 MRS HBase在测试网络连通性的时候,使用:ZooKeeperIP地址:ZooKeeper端口,或者,
功能描述 Debezium是一个 CDC(Changelog Data Capture,变更数据捕获)的工具,可以把其他数据库的更改实时流式传输到 Kafka 中。 Debezium 为变更日志提供了统一的格式结构,并支持使用 JSON消息。 Flink 支持将 Debezium JSON解析为
典型场景示例:配置弹性资源池队列扩缩容策略 场景介绍 一个企业有多个部门,多个部门不同业务数据分析的时间段可能有所差异,具体场景如下: A部门:在00:00-09:00时间段内资源请求量大,其他时间段有短时间的资源请求量不大的任务运行。 B部门:在10:00-22:00时间段内资
数据,由多个数据表组成,这些数据表通过键和索引相互关联。 · 表:表是数据库最重要的组成部分之一,它由行和列组成。每一行代表一个数据项,每一列代表数据的一个属性或特征。表用于组织和存储特定类型的数据,使得数据可以被有效地查询和分析。数据库是一个框架,表是其实质内容。一个数据库包含一个或者多个表。
DLI是否支持导入其他租户共享OBS桶的数据? DLI支持将同一个租户下子账户共享OBS桶中的数据导入,但是租户级别共享OBS桶中的数据无法导入。 DLI不支持导入其他租户共享的OBS桶中的数据,主要是为了确保数据的安全性和数据隔离。 对于需要跨租户共享和分析数据的场景,建议先将
设置扩缩容策略支持的最小CU数。 16 最大CU 当前扩缩容策略支持的最大CU数。 64 单击“确定”完成添加队列配置。 步骤5:创建DLI连接Kafka的增强型跨源连接 创建DLI Flink作业,还需要创建增强型跨源连接。具体操作请参考创建增强型跨源连接。 增强型跨源仅支持包年包月队列和按需专属队列。
Canal Format 功能描述 Canal是一个 CDC(ChangeLog Data Capture,变更日志数据捕获)工具,可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式,并支持使用 JSON 或 protobuf序列化消息(Canal
Canal Format 功能描述 Canal是一个 CDC(ChangeLog Data Capture,变更日志数据捕获)工具,可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式,并支持使用 JSON 或 protobuf序列化消息(Canal
Canal Format 功能描述 Canal是一个 CDC(ChangeLog Data Capture,变更日志数据捕获)工具,可以实时地将 MySQL 变更传输到其他系统。Canal 为变更日志提供了统一的数据格式,并支持使用 JSON 或 protobuf序列化消息(Canal
的内容,此参数默认值为false(注意,此配置项为表属性,请谨慎配置。Hive表不支持此配置项)。 示例 建OBS表时仅有一个分区列,建表成功后添加分区数据。 先使用DataSource语法创建一个OBS分区表,分区列为external_data,数据存储在obs://bucketName/datapath路径下。
version 是 使用的elasticsearch的版本。 当前只能使用版本7,即该值只能为7 connector.hosts 是 Elasticsearch所在集群的主机名,多个以’;’间隔,注意请以http开头,如http://x.x.x.x:9200 connector.index
version 是 使用的elasticsearch的版本。 当前只能使用版本7,即该值只能为7 connector.hosts 是 Elasticsearch所在集群的主机名,多个以’;’间隔,注意请以http开头,如http://x.x.x.x:9200 connector.index
键表达式必须返回一个不可为空的字符串。值表达式可以是任意的,包括其他JSON函数。如果值为NULL,则ON NULL行为定义要执行的操作。如果省略,则默认为NULL ON NULL。 注意key必须是唯一的。如果一个key出现多次,则会抛出错误。 目前在OVER窗口中不支持此功能。 --
Maxwell是一个CDC(Changelog Data Capture)工具,可以将MySql中的更改实时流式写入到Kafka等流式connector。Maxwell为changelog提供了统一的格式,而且支持使用JSON对消息进行序列化。 Flink 支持将 Maxwell
time)的比较表达式。 注意事项 时间窗口join需要至少一个 equi-join 谓词和一个限制了双方时间的 join 条件。 例如使用两个适当的范围谓词(<, <=, >=, >),一个 BETWEEN 谓词或一个比较两个输入表中相同类型的时间属性(即处理时间和事件时间)的相等谓词
time)的比较表达式。 注意事项 时间窗口join需要至少一个 equi-join 谓词和一个限制了双方时间的 join 条件。 例如使用两个适当的范围谓词(<, <=, >=, >),一个 BETWEEN 谓词或一个比较两个输入表中相同类型的时间属性(即处理时间和事件时间)的相等谓词
time)的比较表达式。 注意事项 时间窗口join需要至少一个 equi-join 谓词和一个限制了双方时间的 join 条件。 例如使用两个适当的范围谓词(<, <=, >=, >),一个 BETWEEN 谓词或一个比较两个输入表中相同类型的时间属性(即处理时间和事件时间)的相等谓词
partition_specs 分区字段。 注意事项 该命令仅支持操作OBS表,不支持对DLI表进行操作。 所要重命名分区的表和分区必须已存在,否则会出错。新分区名不能与其他分区重名,否则将出错。 若分区表是按照多个字段进行分区的,重命名分区时需要指定所有的分区字段,指定字段的顺序可任意。
SQL类型队列:SQL队列支持提交Spark SQL作业。 通用队列:支持Spark程序、Flink SQL、Flink Jar作业。 不支持队列类型切换,如需使用其他队列类型,请重新购买新的队列。 不支持切换队列的计费模式。 队列不支持切换区域。 16CUs队列不支持扩容和缩容。 64CUs队列不支持缩容。
状态为失败时的详细报错信息。 update_time 否 Long 更新时间。 表7 hosts参数说明 参数名称 是否必选 参数类型 说明 name 否 String 自定义主机名称。 ip 否 String 主机对应的IPv4地址。 表8 连接状态 名称 含义 说明 CREATING 创建中