-
OBS输入流 - 数据湖探索 DLI
Time两种时间模型,具体使用语法可以参考配置时间模型。 示例 从OBS的桶读取对象为input.csv的文件,文件以'\n'划行, 以','划列。 测试输入数据input.csv可以先通过新建input.txt复制如下文本数据,再另存为input.csv格式文件。将input.csv上传到
-
OBS输入流 - 数据湖探索 DLI
Time两种时间模型,具体使用语法可以参考配置时间模型。 示例 从OBS的桶读取对象为input.csv的文件,文件以'\n'划行, 以','划列。 测试输入数据input.csv可以先通过新建input.txt复制如下文本数据,再另存为input.csv格式文件。将input.csv上传到
-
Redis维表 - 数据湖探索 DLI
定所要使用的Flink弹性资源池。 设置Redis和Kafka的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据Redis的地址测试队列连通性。如果能连通,则表示跨源已经绑定成功,否则表示未成功。 登录Redis客户端,通过如下命令向Redis发送如下数据:
-
创建并提交Spark作业 - 数据湖探索 DLI
场景描述 本章节指导用户通过API创建并提交Spark作业。 约束限制 新队列第一次运行作业时,需要一定的时间,通常为6~10分钟。 涉及接口 创建队列:创建队列。 上传分组资源:上传Spark作业所需的资源包。 查询组内资源包:确认上传的资源包是否正确。 创建批处理作业:创建并提交Spark批处理作业。
-
权限策略和授权项 - 数据湖探索 DLI
请求时,该IAM用户必须具备调用该接口所需的权限,否则,API请求将调用失败。每个接口所需要的权限,与各个接口所对应的授权项相对应,只有发起请求的用户被授予授权项所对应的策略,该用户才能成功调用该接口。例如,用户要创建队列,那么这个IAM用户被授予的策略中必须包含允许"dli:q
-
Kafka源表 - 数据湖探索 DLI
型跨源,并绑定所要使用的Flink弹性资源池。 设置Kafka的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据Kafka的地址测试队列连通性。若能连通,则表示跨源已经绑定成功,否则表示未成功。 参考创建Flink OpenSource作业,创建flink
-
Redis维表 - 数据湖探索 DLI
定所要使用的Flink弹性资源池。 设置Redis和Kafka的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据Redis的地址测试队列连通性。若能连通,则表示跨源已经绑定成功,否则表示未成功。 登录Redis客户端,通过如下命令向Redis发送如下数据:
-
类型转换函数 - 数据湖探索 DLI
cast(case_timestamp_to_date as date) from kafkaSource; 连接Kafka集群,向Kafka的topic中发送如下测试数据: {"cast_int_to_string":"1", "cast_String_to_int": "1", "case_string_to_timestamp":
-
使用API相关问题 - 数据湖探索 DLI
Type”信息 不同账号的调用API时的项目ID(Project ID)是固定的吗? 创建SQL作业的API执行超过时间限制,运行超时报错 API接口返回的中文字符为乱码,如何解决?
-
Postgres CDC源表 - 数据湖探索 DLI
所要使用的Flink弹性资源池。 设置PostgreSQL的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据PostgreSQL的地址测试队列连通性。若能连通,则表示跨源已经绑定成功,否则表示未成功。 在PostgreSQL中创建数据库flink,并创建名为test的schema。
-
Postgres CDC源表 - 数据湖探索 DLI
所要使用的Flink弹性资源池。 设置PostgreSQL的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据PostgreSQL的地址测试队列连通性。若能连通,则表示跨源已经绑定成功,否则表示未成功。 在PostgreSQL中创建数据库flink,并创建名为test的schema。
-
弹性资源池计费 - 数据湖探索 DLI
被释放。 专属资源自创建起根据购买的实际CU按自然小时收费,秒级计费,按小时结算。计算费用=单价*实际CU数*小时数。 按需计费模式适用于测试项目,资源消耗不高,按需计费成本更低。 套餐包:DLI支持购买弹性资源池CU时套餐包,购买后在弹性资源池中提交作业按CU时计费。建议购买弹
-
Upsert Kafka源表 - 数据湖探索 DLI
型跨源,并绑定所要使用的Flink弹性资源池。 设置Kafka的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据Kafka的地址测试队列连通性。若能连通,则表示跨源已经绑定成功,否则表示未成功。 参考创建Flink OpenSource作业,创建flink
-
Upsert Kafka源表 - 数据湖探索 DLI
型跨源,并绑定所要使用的Flink弹性资源池。 设置Kafka的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据Kafka的地址测试队列连通性。若能连通,则表示跨源已经绑定成功,否则表示未成功。 参考创建Flink OpenSource作业,创建flink
-
创建并提交Flink作业 - 数据湖探索 DLI
场景描述 本章节指导用户通过API创建并运行Flink自定义作业。 约束限制 新队列第一次运行作业时,需要一定的时间,通常为6~10分钟。 涉及接口 创建队列:创建队列。 上传分组资源:上传Flink自定义作业所需的资源包。 查询组内资源包:确认上传的资源包是否正确。 创建Flink自定义作业:创建Flink自定义作业。
-
创建Flink SQL作业 - 数据湖探索 DLI
创建跨源连接操作请参见增强型跨源连接(推荐)。创建完跨源连接后,可以通过“队列管理”页面,单击“操作”列“更多”中的“测试地址连通性”,验证队列到外部数据源之间的网络连通是否正常。详细操作可以参考测试地址连通性。 注意事项 创建作业提交任务前,建议先开通云审计服务,用于记录与DLI服务相关的操作事件
-
约束与限制 - 数据湖探索 DLI
跨源表不支持Preview预览功能。 检测跨源连接的连通性时对IP约束限制如下: IP必须为合法的IP地址,用“.”分隔的4个十进制数,范围是0-255。 测试时IP地址后可选择添加端口,用":"隔开,端口最大限制5位,端口范围:0~65535。 例如192.168.xx.xx或者192.168.xx
-
Flink作业重启后,如何保证不丢失数据? - 数据湖探索 DLI
对于Flink Jar作业,您需要在代码中开启Checkpoint,同时如果有自定义的状态需要保存,您还需要实现ListCheckpointed接口,并为每个算子设置唯一ID。然后在作业配置中,勾选“从Checkpoint恢复”,并准确配置Checkpoint路径。 图2 开启Checkpoint
-
导出数据(废弃) - 数据湖探索 DLI
元数据信息和权限信息的读取权限,以及路径的读写权限,则A账户可将数据导出至B账户的OBS路径中。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v1.0/{project_id}/jobs/export-table
-
JSON Format - 数据湖探索 DLI
根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性。若能连通,则表示跨源已经绑定成功;否则表示未成功 创建flink opensource sql作业,并选择flink版本为1.