检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置数据更新间隔。 示例 该示例展示了一个经典的业务流水线,维度表来自 Hive,每天通过批处理流水线作业或 Flink 作业更新一次,kafka流来自实时在线业务数据或日志,需要与维度表连接以扩充流。 使用spark sql 创建 hive obs 外表,并插入数据。 CREATE TABLE if
qualifier)。用户只需在表结构中声明查询中使用的的列簇和列限定符。除了 ROW 类型的列,剩下的原子数据类型字段(比如,STRING, BIGINT)将被识别为 HBase 的 rowkey,一张表中只能声明一个 rowkey。rowkey 字段的名字可以是任意的,如果是保留关键字,需要用反引号。
qualifier)。用户只需在表结构中声明查询中使用的的列簇和列限定符。除了 ROW 类型的列,剩下的原子数据类型字段(比如,STRING, BIGINT)将被识别为 HBase 的 rowkey,一张表中只能声明一个 rowkey。rowkey 字段的名字可以是任意的,如果是保留关键字,需要用反引号。
待提交作业的表的默认catalog。不填时默认使用DLI catalog。 queue_name 否 String 待提交作业的队列名称,名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 conf 否 Array of Strings 用户以“key/value”的形式设置用
计费模式:选择“包年/包月”或“按需计费”。本例选择“按需计费”。 区域和项目:保持默认值即可。 名称:填写具体的队列名称。 新建的队列名称,名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。长度限制:1~128个字符。 队列名称不区分大小写,系统会自动转换为小写。 类型:队列类型
计费模式:选择“包年/包月”或“按需计费”。本示例选择“按需计费”。 区域和项目:保持默认值即可。 名称:填写具体的队列名称。 新建的队列名称,名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。长度限制:1~128个字符。 队列名称不区分大小写,系统会自动转换为小写。 类型:队列类型
value]* [ { NULL | ABSENT } ON NULL ]) 从键值对列表构建JSON对象字符串。 请注意,键必须是非NULL字符串文字,而值可以是任意表达式。 函数返回一个JSON字符串。ON NULL行为定义了如何处理NULL值。如果省略,则默认为NULL ON NULL。
li_management_agency的委托信息。 步骤1:开发Jar包并上传数据至OBS DLI控制台不提供Jar包的开发能力,您需要在线下完成Jar包的开发。Jar包的开发样例请参考Flink Jar开发基础样例。 参考Flink作业样例代码开发Flink Jar作业程序,
填写认证信息,详细参数说明请参考表6。 表6 跨源认证参数说明 参数 参数说明 类型 选择Password。 认证信息名称 所创建的跨源认证信息名称。 名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 输入长度不能超过128个字符。 用户名称 访问RDS实例用户名。 用户密码 RDS实例登录密码。
qualifier)。用户只需在表结构中声明查询中使用的的列簇和列限定符。除了ROW类型的列,剩下的原子数据类型字段(比如,STRING, BIGINT)将被识别为 HBase的rowkey,一张表中只能声明一个rowkey。rowkey字段的名字可以是任意的,如果是保留关键字,需要用反引号。 语法格式
可减少网络时延,提高访问速度。 项目 每个区域默认对应一个项目,这个项目由系统预置。 名称 弹性资源池的具体名称。 名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线或数字开头。 输入长度不能超过128个字符。 说明: 弹性资源池名称不区分大小写,系统会自动转换为小写。
qualifier)。用户只需在表结构中声明查询中使用的的列簇和列限定符。除了ROW类型的列,剩下的原子数据类型字段(比如,STRING, BIGINT)将被识别为 HBase的rowkey,一张表中只能声明一个rowkey。rowkey字段的名字可以是任意的,如果是保留关键字,需要用反引号。 语法格式
计费模式:选择“包年/包月”或“按需计费”。本示例选择“按需计费”。 区域和项目:保持默认值即可。 名称:填写具体的队列名称。 新建的队列名称,名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。长度限制:1~128个字符。 队列名称不区分大小写,系统会自动转换为小写。 类型:队列类型
DLI Flink作业专为实时数据流处理设计,适用于低时延、需要快速响应的场景,支持与多种云服务跨源连通,形成丰富的流生态圈。适用于实时监控、在线分析等场景。 · Flink OpenSource作业:DLI提供了标准的连接器(connectors)和丰富的API,便于快速与其他数据系统的集成。
近您业务的区域,可减少网络时延,提高访问速度。 项目 每个区域默认对应一个项目,这个项目由系统预置。 名称 队列的名称。 只能包含数字、英文字母和下划线,但不能是纯数字,不能以下划线开头,且不能为空。 输入长度不能超过128个字符。 说明: 队列名称不区分大小写,系统会自动转换为小写。
包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DWS的更多信息,请参见《数据仓库服务管理指南》。 推荐使用DWS服务自研的DWS Connector。
计费模式:选择“包年/包月”或“按需计费”。本例选择“按需计费”。 区域和项目:保持默认值即可。 名称:填写具体的队列名称。 新建的队列名称,名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。长度限制:1~128个字符。 队列名称不区分大小写,系统会自动转换为小写。 类型:队列类型
包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DWS的更多信息,请参见《数据仓库服务管理指南》。 前提条件 请务必确保您的账户下已在数
示例 下面的示例展示了一个经典的业务流水线,维度表来自 Hive,每天通过批处理流水线作业或 Flink 作业更新一次,kafka流来自实时在线业务数据或日志,需要与维度表连接以扩充流。 使用spark sql 创建 hive obs 外表,并插入数据。 CREATE TABLE if
消息中消息键是可选的,以下语句将使用消息体格式读取和写入消息,但不使用消息键格式。 'format' 选项与 'value.format' 意义相同。 所有的格式配置使用格式识别符作为前缀。 CREATE TABLE KafkaTable ( `ts` TIMESTAMP(3) METADATA FROM 'timestamp'