-
FineBI工具对接DLI Trino - 数据湖探索 DLI
根据界面提示配置参数。 图6 弹性负载均衡器ELB 获取ELB的服务地址 在ELB控制台下找到“弹性负载均衡 > 负载均衡器”。 图7 负载均衡器 单击进入所创建的负载均衡器的ID,单击“基本信息”查看ELB的信息,记录“IPv4私网IP”的信息。 图8 独享型ELB 创建跨源
-
欠费说明 - 数据湖探索 DLI
已购买套餐包,但使用量超出套餐包额度,进而产生按需费用,同时账户中的余额不足以抵扣产生的按需费用。请参考已购买套餐包,为什么仍然产生按需计费?识别产生按需计费的原因,并重新选择正确的套餐包或保证账户中的余额充足。 未购买套餐包,在按需计费模式下账户的余额不足。 欠费影响 包年/包月
-
安全 - 数据湖探索 DLI
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 故障恢复 更新管理 认证证书
-
经典型跨源连接(废弃,不推荐使用) - 数据湖探索 DLI
输入连接名称,选择服务类型,安全组,虚拟私有云,子网,输入目的地址,详细参数介绍请参见表2。 图1 创建经典跨源 表2 参数说明 参数 参数说明 连接名称 所创建的跨源连接名称。 名称只能包含数字、英文字母、下划线和中划线。不能为空。 输入长度不能超过64个字符。 服务类型 目前支持访问六种类型数据源。
-
PowerBI工具对接DLI Trino - 数据湖探索 DLI
点击设置ODBC数据源(64 位)。 图14 设置ODBC数据源 添加驱动程序 在驱动程序中选择“添加 > openLookeng ODBC 1.9 Driver > 确定”。 图15 添加驱动程序 填写数据源信息 参考图16填写名称和描述,单击“Next”。 图16 填写数据源信息 配置相关信息
-
从Kafka读取数据写入到DWS - 数据湖探索 DLI
Kafka实例时,不能开启Kafka SASL_SSL。 已创建DWS实例。 具体创建DWS集群的操作可以参考创建DWS集群。 整体作业开发流程 整体作业开发流程参考图1。 图1 作业开发流程 步骤1:创建队列:创建DLI作业运行的队列。 步骤2:创建Kafka的Topic:创建Kafka生产消费数据的Topic。
-
从Kafka读取数据写入到Elasticsearch - 数据湖探索 DLI
具体创建CSS集群的操作可以参考创建CSS集群。 本示例创建的CSS集群版本为:7.6.2,集群为非安全集群。 整体作业开发流程 整体作业开发流程参考图1。 图1 作业开发流程 步骤1:创建队列:创建DLI作业运行的队列。 步骤2:创建Kafka的Topic:创建Kafka生产消费数据的Topic。
-
从MySQL CDC源表读取数据写入到DWS - 数据湖探索 DLI
MySQL数据库版本选择为:8.0。 已创建DWS实例,具体创建DWS集群的操作可以参考创建DWS集群。 整体作业开发流程 整体作业开发流程参考图1。 图1 作业开发流程 步骤1:创建队列:创建DLI作业运行的队列。 步骤2:创建RDS MySQL数据库和表:创建RDS MySQL的数据库和表。
-
查询批处理作业状态 - 数据湖探索 DLI
无请求参数。 响应消息 表2 响应参数说明 参数名称 是否必选 参数类型 说明 id 否 String 批处理作业的ID,采用UUID(通用唯一识别码)格式。 state 否 String 批处理作业的状态,请参见创建批处理作业中的表7。 请求示例 无 响应示例 {"id":"0a32
-
从Kafka读取数据写入到RDS - 数据湖探索 DLI
本示例创建的RDS MySQL数据库版本选择为:8.0。 具体步骤可参考:RDS MySQL快速入门。 整体作业开发流程 整体作业开发流程参考图1。 图1 作业开发流程 步骤1:创建队列:创建DLI作业运行的队列。 步骤2:创建Kafka的Topic:创建Kafka生产消费数据的Topic。
-
导出查询结果 - 数据湖探索 DLI
导出数据的编码格式。默认使用utf-8。 支持以下编码格式: utf-8 gb2312 gbk quote_char 否 String 用户自定义引用字符。 默认值: 英文双引号(") 仅在数据格式为csv格式时支持配置引用字符。 引用字符在导出作业结果时用于标识文本字段的开始和结束,即用于分割字段。 仅支持设置一个字符。
-
(推荐)DLI SDK V3 - 数据湖探索 DLI
及查看指导文档。 在线生成SDK代码 【样例】 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 您可以在API Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码。 如图1所示。 图1 获取SDK代码示例
-
DIS结果表 - 数据湖探索 DLI
数据编码格式,可选为“csv”、“json” format.field-delimiter 否 属性分隔符,仅当编码格式为csv时,用户可以自定义属性分隔符,默认为“,”英文逗号。 connector.partition-key 否 数据输出分组主键,多个主键用逗号分隔。当该参数没有配置的时候则随机派发。 注意事项
-
DIS结果表 - 数据湖探索 DLI
数据编码格式,可选为“csv”、“json” format.field-delimiter 否 属性分隔符,仅当编码格式为csv时,用户可以自定义属性分隔符,默认为“,”英文逗号。 connector.partition-key 否 数据输出分组主键,多个主键用逗号分隔。当该参数没有配置的时候则随机派发。 注意事项
-
Kafka结果表 - 数据湖探索 DLI
'json'及'avro'等。 format.field-delimiter 否 属性分隔符,仅当编码格式为csv时,用户可以自定义属性分隔符,默认为“,”英文逗号。 connector.topic 是 kafka topic名。 connector.properties.bootstrap.servers
-
Kafka结果表 - 数据湖探索 DLI
'json'及'avro'等。 format.field-delimiter 否 属性分隔符,仅当编码格式为csv时,用户可以自定义属性分隔符,默认为“,”英文逗号。 connector.topic 是 kafka topic名。 connector.properties.bootstrap.servers
-
Top-N - 数据湖探索 DLI
[asc|desc]...]: 指定排序列,不同列的排序方向可以不一样。 WHERE rownum <= N: Flink 需要 rownum <= N 才能识别一个查询是否为 Top-N 查询。 其中, N 代表最大或最小的 N 条记录会被保留。 [AND conditions]: 在 where
-
Top-N - 数据湖探索 DLI
[asc|desc]...]: 指定排序列,不同列的排序方向可以不一样。 WHERE rownum <= N: Flink 需要 rownum <= N 才能识别一个查询是否为 Top-N 查询。 其中, N 代表最大或最小的 N 条记录会被保留。 [AND conditions]: 在 where
-
Top-N - 数据湖探索 DLI
[asc|desc]...]: 指定排序列,不同列的排序方向可以不一样。 WHERE rownum <= N: Flink 需要 rownum <= N 才能识别一个查询是否为 Top-N 查询。 其中, N 代表最大或最小的 N 条记录会被保留。 [AND conditions]: 在 where
-
Top-N - 数据湖探索 DLI
[asc|desc]...]: 指定排序列,不同列的排序方向可以不一样。 WHERE rownum <= N: Flink 需要 rownum <= N 才能识别一个查询是否为 Top-N 查询。 其中, N 代表最大或最小的 N 条记录会被保留。 [AND conditions]: 在 where