检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
例如开启DLI数据多版本时,可以设置"dli.multi.version.enable"="true"来开启该功能。 select_statement 否 用于CTAS命令,将源表的select查询结果或某条数据插入到新创建的OBS表中。 示例1:创建OBS非分区表 示例说明:创建名为table1的OBS非分区表,并用STORED
通。参考测试地址连通性根RDS的地址测试队列连通性。若能连通,则表示跨源已经绑定成功,否则表示未成功。 登录RDS MySQL,并使用下述命令在flink库下创建orders表,并插入数据。创建数据库的操作可以参考创建RDS数据库。 在flink数据库库下创建orders表: CREATE
参考测试地址连通性根据redis的地址测试队列连通性。如果能连通,则表示跨源已经绑定成功,否则表示未成功。 在Redis客户端中执行如下命令,向不同的key中插入数据,以hash形式存储: HMSET redisSource order_id 202103241000000001
DLI表数据存储格式,支持:parquet和orc格式。 table_comment 否 表描述。仅支持字符串常量。 select_statement 否 用于CTAS命令,将源表的select查询结果或某条数据插入到新创建的DLI表中。 表2 OPTIONS参数描述 参数 是否必选 描述 默认值 multiLevelDirEnable
DLI表数据存储格式,支持:parquet和orc格式。 table_comment 否 表描述。仅支持字符串常量。 select_statement 否 用于CTAS命令,将源表的select查询结果或某条数据插入到新创建的DLI表中。 表2 OPTIONS参数描述 参数 是否必选 描述 默认值 multiLevelDirEnable
例如开启DLI数据多版本时,可以设置"dli.multi.version.enable"="true"来开启该功能。 select_statement 否 用于CTAS命令,将源表的select查询结果或某条数据插入到新创建的OBS表中。 示例1:创建OBS非分区表 示例说明:创建名为table1的OBS非分区表,并用STORED
detail。创建语句参考如下: create 'order', {NAME => 'detail'} 在HBase shell中执行下述命令,以插入一条数据: put 'order', '202103241000000001', 'detail:order_channel','webShop'
'print' ); insert into printSink select * from mysqlCdcSource; 在MySQL中执行以下命令插入测试数据。 insert into cdc_order values ('202103241000000001','webShop','2021-03-24
detail。创建语句参考如下: create 'order', {NAME => 'detail'} 在HBase shell中执行下述命令,以插入一条数据: put 'order', '202103241000000001', 'detail:order_channel','webShop'
'print' ); insert into printSink select * from mysqlCdcSource; 在MySQL中执行以下命令插入测试数据。 insert into cdc_order values ('202103241000000001','webShop','2021-03-24
每日仪表盘从 00:00 开始每分钟绘制累积 UV,10:00 时 UV 就是从 00:00 到 10:00 的UV 总数。累积窗口可以简单且有效地实现它。 CUMULATE 函数指定元素到多个窗口,从初始的窗口开始,直到达到最大的窗口大小的窗口,所有的窗口都包含其区间内的元素,另外,窗口的开始时间是固定的。
创建增强型跨源连接 操作场景 使用DLI访问其他数据源的数据前,首先要通过建立增强型跨源连接打通DLI和数据源之间的网络,DLI才能够访问、导入、查询、分析其他数据源的数据。 例如:DLI连接MRS、RDS、CSS、Kafka、DWS时,需要打通DLI和对应数据源VPC之间的网络,才能实现数据互通。
Kibana”访问集群。 在Kibana的左侧导航中选择“Dev Tools”,进入到Console界面。 在Console界面,执行如下命令创建索引“shoporders”。 PUT /shoporders { "settings": { "number_of_shards":
通。参考测试地址连通性根据redis的地址测试队列连通性。若能连通,则表示跨源已经绑定成功,否则表示未成功。 在Redis客户端中执行如下命令,向不同的key中插入数据,以hash形式存储: HMSET redisSource order_id 202103241000000001
通。参考测试地址连通性根据redis的地址测试队列连通性。若能连通,则表示跨源已经绑定成功,否则表示未成功。 在Redis客户端中执行如下命令,向不同的key中插入数据,以hash形式存储: HMSET redisSource order_id 202103241000000001
Flink Jar作业开发基础样例 概述 用户可以基于Flink的API进行二次开发,构建自己的应用Jar包,提交到DLI队列运行,实现与MRS Kafka、HBase、Hive、HDFS,DWS,DCS等数据源的交互。 本章节以通过自定义作业与MRS进行交互为例进行说明。 更多样例代码请通过DLI样例代码获取。
使用Kafka客户端向指定topic发送数据,模拟实时数据流。 具体方法请参考DMS-连接实例生产消费信息。 图20 模拟实时数据流 发送命令如下: sh kafka_2.11-2.3.0/bin/kafka-console-producer.sh --broker-list KafKa连接地址