检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从Kafka读取对象为test的topic。数据编码格式为json且包含嵌套。本示例使用了复杂数据类型ROW,ROW使用语法可以参考数据类型。 测试数据参考如下: { "id":"1", "type2":"online", "data":{ "patient_id":1234
型跨源,并绑定所要使用的Flink弹性资源池。 设置Redis的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据redis的地址测试队列连通性。若能连通,则表示跨源已经绑定成功,否则表示未成功。 在Redis客户端中执行如下命令,向不同的key中插入数据,以hash形式存储:
跨源,并绑定所要使用的Flink弹性资源池。 设置Redis的安全组,添加入向规则使其对Flink的队列网段放通。 参考测试地址连通性根据redis的地址测试队列连通性。如果能连通,则表示跨源已经绑定成功,否则表示未成功。 在Redis客户端中执行如下命令,向不同的key中插入数据,以hash形式存储:
型跨源,并绑定所要使用的Flink弹性资源池。 设置Kafka的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据Kafka的地址测试队列连通性。如果能连通,则表示跨源已经绑定成功,否则表示未成功。 参考创建Flink OpenSource作业,创建flink
查询结果 指定的OBS数据目录包含数据文件。 在OBS桶“dli-test-021”根目录下创建数据文件目录“data2”。创建如下内容的测试数据文件“test.csv”,并上传文件到“obs://dli-test-021/data2”目录下。 Jordon,88,23 Kim,87
单击“确定”完成添加队列配置。 步骤2:OBS桶文件配置 如果需要创建OBS表,则需要先上传数据到OBS桶目录下。 本次演示的样例代码创建了OBS表,测试数据内容参考如下示例,创建名为的testdata.csv文件。 12,Michael 27,Andy 30,Justin 进入OBS管理控
tabletest VALUES ('456','efg'); insert into tabletest VALUES ('789','hij'); 查询测试的表数据。 select * from tabletest; 图1 查询RDS表数据 在DLI上创建数据库和表。 登录DLI管理控制台,选
ig/producer.properties 上述命令中的“Kafka角色实例所在节点的IP地址”即为4中获取的Kafka实例IP。 发送测试消息内容如下: {"PageViews":5, "UserID":"4324182021466249494", "Duration":146
tabletest VALUES ('456','efg'); insert into tabletest VALUES ('789','hij'); 查询测试的表数据。 select * from tabletest; 图1 查询RDS表数据 在DLI上创建数据库和表。 登录DLI管理控制台,选
ig/producer.properties 上述命令中的“Kafka角色实例所在节点的IP地址”即为4中获取的Kafka实例IP。 发送测试消息内容如下: {"PageViews":5, "UserID":"4324182021466249494", "Duration":146
弹性资源池名称不区分大小写,系统会自动转换为小写。 类型 基础版:16-64CUs规格 适用于对资源消耗不高、对资源高可靠性和高可用性要求不高的测试场景。 不支持高可靠与高可用。 不支持设置队列属性和作业优先级。 不支持对接Notebook实例。 标准版:64CUs及以上规格 具备强大
开发流程说明 序号 阶段 操作界面 说明 1 创建DLI通用队列 DLI控制台 创建作业运行的DLI队列。 2 上传数据到OBS桶 OBS控制台 将测试数据上传到OBS桶下。 3 新建Maven工程,配置pom文件 IntelliJ IDEA 参考样例代码说明,编写程序代码读取OBS数据。
根据MySQL和kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据MySQL和kafka的地址测试队列连通性。若能连通,则表示跨源已经绑定成功;否则表示未成功。 在MySQL的flink数据库下创建表order_count,创建语句如下:
根据MySQL和kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据MySQL和kafka的地址测试队列连通性。如果能连通,则表示跨源已经绑定成功;否则表示未成功。 在MySQL的flink数据库下创建表order_count,创建语句如下:
根据MySQL和kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据MySQL和kafka的地址测试队列连通性。若能连通,则表示跨源已经绑定成功;否则表示未成功。 在MySQL的flink数据库下创建表order_count,创建语句如下: