-
Hbase结果表 - 数据湖探索 DLI
据轻松进行过滤分析,毫秒级得到响应,快速发现数据价值。HBase支持消息数据、报表数据、推荐类数据、风控类数据、日志数据、订单数据等结构化、半结构化的KeyValue数据存储。 利用DLI,用户可方便地将海量数据高速、低时延写入HBase。 前提条件 该场景作业需要运行在DLI的
-
创建弹性资源池 - 数据湖探索 DLI
参数名称 描述 计费模式 包年/包月 按需计费 区域 选择所在的区域。不同区域的云服务之间内网互不相通;请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 项目 每个区域默认对应一个项目,这个项目由系统预置。 名称 弹性资源池的具体名称。 名称只能包含数字、英文字母和下划
-
Confluent Avro Format - 数据湖探索 DLI
然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka和ecs的地址测试队列连通性(通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性 > 输入kafka或ecs的地址 > 测试)。如果能连通,则表示跨源已经绑定成功;否则表示未成功。 购买ecs集群,并下载5
-
创建Flink Jar作业 - 数据湖探索 DLI
Slot”:每个TaskManager包含的Slot数量。 保存作业日志 设置是否将作业运行时的日志信息保存到OBS桶。 注意: 该参数建议勾选,否则作业运行完成后不会生成运行日志,后续如果作业运行异常则无法获取运行日志进行定位。 勾选后需配置下列参数: “OBS桶”:选择OBS桶用于保存用户作业
-
Upsert Kafka结果表 - 数据湖探索 DLI
考测试地址连通性根据Kafka的地址测试队列连通性。若能连通,则表示跨源已经绑定成功,否则表示未成功。 参考创建Flink OpenSource作业,创建flink opensource sql作业,输入以下作业脚本,提交运行作业。 注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1
-
Upsert Kafka源表 - 数据湖探索 DLI
考测试地址连通性根据Kafka的地址测试队列连通性。若能连通,则表示跨源已经绑定成功,否则表示未成功。 参考创建Flink OpenSource作业,创建flink opensource sql作业,输入以下作业脚本,提交运行作业。 注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1
-
Upsert Kafka源表 - 数据湖探索 DLI
考测试地址连通性根据Kafka的地址测试队列连通性。若能连通,则表示跨源已经绑定成功,否则表示未成功。 参考创建Flink OpenSource作业,创建flink opensource sql作业,输入以下作业脚本,提交运行作业。 注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1
-
Upsert Kafka - 数据湖探索 DLI
值。 sink.parallelism 否 无 Integer 定义upsert-kafka sink 算子的并行度。默认情况下,由框架确定并行度,与上游链接算子的并行度保持一致。 sink.buffer-flush.max-rows 否 0 Integer 缓存刷新前,最多能缓存的记录条数。
-
使用DataSource语法创建OBS表 - 数据湖探索 DLI
以使用如下的SELECT语句“SELECT col_1 FROM table1 WHERE col_1 = 'Ann' ”,这样就可以通过执行SELECT语句从table1中单独选定col_1,并只将其中值等于'Ann'的数据插入到table1_ctas中。 1 2 3 4 5 6
-
使用DataSource语法创建OBS表 - 数据湖探索 DLI
以使用如下的SELECT语句“SELECT col_1 FROM table1 WHERE col_1 = 'Ann' ”,这样就可以通过执行SELECT语句从table1中单独选定col_1,并只将其中值等于'Ann'的数据插入到table1_ctas中。 1 2 3 4 5 6