-
保留关键字 - 数据湖探索 DLI
ENCODE_CLASS_PARAMETER ENCODED_DATA END ENDPOINT END_EXEC EPOCH EQUALS ESCAPE ES_FIELDS ES_INDEX ES_TYPE ESTIMATEMEM ESTIMATEPARALLELISM EXACTLY_ONCE EXCEPT EXCEPTION
-
保留关键字 - 数据湖探索 DLI
ENCODE_CLASS_PARAMETER ENCODED_DATA END ENDPOINT END_EXEC EPOCH EQUALS ESCAPE ES_FIELDS ES_INDEX ES_TYPE ESTIMATEMEM ESTIMATEPARALLELISM EXACTLY_ONCE EXCEPT EXCEPTION
-
从Kafka读取数据写入到Elasticsearch - 数据湖探索 DLI
Kafka实例时,不能开启Kafka SASL_SSL。 已创建Elasticsearch类型的CSS集群。 具体创建CSS集群的操作可以参考创建CSS集群。 本示例创建的CSS集群版本为:7.6.2,集群为非安全集群。 整体作业开发流程 整体作业开发流程参考图1。 图1 作业开发流程
-
删除集群(废弃) - 数据湖探索 DLI
删除集群(废弃) 功能介绍 该API用于删除指定集群。 当前接口已废弃,不推荐使用。 URI URI格式: DELETE /v2.0/{project_id}/clusters/{cluster_name} 参数说明 表1 URI参数 名称 是否必选 说明 project_id 是
-
获取全部集群信息(废弃) - 数据湖探索 DLI
create_time 是 Long 创建集群的时间。 description 否 String 集群的描述信息。 cu_count 是 Integer 与集群绑定的计算单元个数。 owner 是 String 创建集群的用户。 cluster_name 是 String 集群名称。 status 是
-
对接CSS - 数据湖探索 DLI
对接CSS CSS安全集群配置 scala样例代码 pyspark样例代码 java样例代码 父主题: 使用Spark作业跨源访问数据源
-
Elasticsearch - 数据湖探索 DLI
站内搜索等场景。 云搜索服务(Cloud Search Service,简称CSS)为DLI提供托管的分布式搜索引擎服务,完全兼容开源Elasticsearch搜索引擎,支持结构化、非结构化文本的多条件检索、统计、报表。 云搜索服务的更多信息,请参见《云搜索服务用户指南》。 更多
-
集群相关API(废弃) - 数据湖探索 DLI
集群相关API(废弃) 创建集群(废弃) 删除集群(废弃) 获取指定集群信息(废弃) 获取全部集群信息(废弃) 父主题: 历史API
-
经典型跨源连接(废弃,不推荐使用) - 数据湖探索 DLI
RDS 云搜索服务 CSS 安全组 选择对应的安全组信息。不同服务的安全组信息,可在创建对应的服务集群或实例时由系统提供,或查看已有集群或数据库实例信息。 虚拟私有云 选择对应的虚拟私有云信息。不同服务的虚拟私有云信息,可在创建对应的服务集群或实例时由系统提供,或查看已有集群或数据库实例信息。
-
FineBI工具对接DLI Trino - 数据湖探索 DLI
VPCEP节点IP 创建ELB 登录ELB的控制台。 在负载均衡器界面单击“购买弹性负载均衡”,根据界面提示配置参数。 图6 弹性负载均衡器ELB 获取ELB的服务地址 在ELB控制台下找到“弹性负载均衡 > 负载均衡器”。 图7 负载均衡器 单击进入所创建的负载均衡器的ID,单击“基
-
PowerBI工具对接DLI Trino - 数据湖探索 DLI
VPCEP节点IP 创建ELB 登录ELB的控制台。 在负载均衡器界面单击“购买弹性负载均衡”,根据界面提示配置参数。 图6 弹性负载均衡器ELB 获取ELB的服务地址 在ELB控制台下找到“弹性负载均衡 > 负载均衡器”。 图7 负载均衡器 单击进入所创建的负载均衡器的ID,单击“基
-
迁移DWS数据至DLI - 数据湖探索 DLI
”。 已创建数据仓库服务DWS集群。具体创建DWS集群的操作可以参考创建DWS集群。 已创建CDM迁移集群。创建CDM集群的操作可以参考创建CDM集群。 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出
-
插入数据至CSS表 - 数据湖探索 DLI
插入数据至CSS表 功能描述 INSERT INTO命令将DLI表中的数据插入到已关联的指定CSS表中。 语法格式 将SELECT查询结果插入到表中: 1 2 3 4 5 6 7 INSERT INTO DLI_TABLE SELECT field1,field2... [FROM
-
Canal Format - 数据湖探索 DLI
scooter", "weight": "5.18" } ], "database": "inventory", "es": 1589373560000, "id": 9, "isDdl": false, "mysqlType": { "id":
-
查询CSS表 - 数据湖探索 DLI
示例 查询表dli_to_css中的数据。 1 SELECT * FROM dli_to_css limit 100; 父主题: 跨源连接CSS表
-
跨源认证概述 - 数据湖探索 DLI
源按需选择相应的认证类型。 CSS类型跨源认证:适用于“6.5.4”及以上版本的CSS集群且集群已开启安全模式。配置时需指定集群的用户名、密码、认证证书,通过跨源认证将以上信息存储到DLI服务中,便于DLI安全访问CSS数据源。详细操作请参考创建CSS类型跨源认证。 Kerber
-
OBS输出流 - 数据湖探索 DLI
用于大数据分析、原生云应用程序数据、静态网站托管、备份/活跃归档、深度/冷归档等场景。 对象存储服务(Object Storage Service,简称OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。OBS的更多信息,请参见《对象存储服务控制台指南》。
-
OBS输出流 - 数据湖探索 DLI
用于大数据分析、原生云应用程序数据、静态网站托管、备份/活跃归档、深度/冷归档等场景。 对象存储服务(Object Storage Service,简称OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。OBS的更多信息,请参见《对象存储服务控制台指南》。
-
插入数据至CSS表 - 数据湖探索 DLI
插入数据至CSS表 功能描述 INSERT INTO命令将DLI表中的数据插入到已关联的指定CSS表中。 语法格式 将SELECT查询结果插入到表中: 1 2 3 4 5 6 7 INSERT INTO DLI_TABLE SELECT field1,field2... [FROM
-
Jobmanager与Taskmanager心跳超时,导致Flink作业异常怎么办? - 数据湖探索 DLI
根因分析 检查网络是否发生闪断,分析集群负载是否很高。 如果频繁出现Full GC, 建议排查代码,确认是否有内存泄漏。 图2 Full GC 处理步骤 如果频繁Full GC, 建议排查代码,是否有内存泄漏。 增加单TM所占的资源。 联系技术支持,修改集群心跳配置参数。 父主题: 运维指导