-
终端节点 - 数据湖探索 DLI
终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询所有服务的终端节点。 数据湖探索的终端节点如下表所示,请您根据业务需要选择对应区域的终端节点。 表1 数据湖探索的终端节点 区域名称 区域 终端节点(Endpoint)
-
CSS Elasticsearch输出流 - 数据湖探索 DLI
具体请参考《云搜索服务产品介绍》。 es_type 是 待插入数据的文档类型,支持参数化。对应CSS服务中的type。 具体请参考《云搜索服务产品介绍》。 若使用的es版本为6.x,则该值不能以"_"开头。 若使用的es版本为7.x,如果提前预置CSS服务中的type,则es_typ
-
状态码 - 数据湖探索 DLI
特征与地址的列表用于用户终端(例如:浏览器)选择。 301 Moved Permanently 永久移动,请求的资源已被永久的移动到新的URI,返回信息会包括新的URI。 302 Found 资源被临时移动。 303 See Other 查看其它地址。 使用GET和POST请求查看。
-
Elasticsearch - 数据湖探索 DLI
DLI将Flink作业的输出数据输出到云搜索服务CSS的Elasticsearch 引擎的索引中。 Elasticsearch是基于Lucene的当前流行的企业级搜索服务器,具备分布式多用户的能力。其主要功能包括全文检索、结构化搜索、分析、聚合、高亮显示等。能为用户提供实时搜索、稳定可靠的服务。适用于日志分析、站内搜索等场景。
-
CSS Elasticsearch输出流 - 数据湖探索 DLI
具体请参考《云搜索服务产品介绍》。 es_type 是 待插入数据的文档类型,支持参数化。对应CSS服务中的type。 具体请参考《云搜索服务产品介绍》。 若使用的es版本为6.x,则该值不能以"_"开头。 若使用的es版本为7.x,如果提前预置CSS服务中的type,则es_typ
-
导入数据至DLI表的方式 - 数据湖探索 DLI
Migration,简称CDM)将OBS上的数据导入到DLI,导入需要创建CDM队列。 具体操作请参见《云数据迁移服务用户指南》的使用CDM迁移OBS的数据到DLI。 在操作过程中请注意以下关键配置: DLI所在的VPC与CDM队列的VPC一致。 需要创建两个连接,即DLI连接,OBS连接。 传输数据的文件格式支持“CSV格式”和“JSON格式”。
-
Elasticsearch结果表 - 数据湖探索 DLI
afka所在的虚拟私有云和子网分别创建相应的增强型跨源连接,并绑定所要使用的Flink弹性资源池。 设置Elasticsearch和Kafka的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据Elasticsearch和Kafka的地址测试队列连通性
-
建立DLI与共享VPC中资源的网络连接 - 数据湖探索 DLI
队列管理”。 选择增强型跨源所绑定的资源池下的队列,单击操作列“更多 > 测试地址连通性”。 输入数据源连接地址和端口,测试网络连通性。 若地址可达,说明账号B已建立DLI资源与共享VPC中的资源的网络连接,账号B可以使用DLI弹性资源池的队列提交作业访问共享VPC中的资源。 父主题: 增强型跨源连接(推荐)
-
Elasticsearch结果表 - 数据湖探索 DLI
afka所在的虚拟私有云和子网分别创建相应的增强型跨源连接,并绑定所要使用的Flink弹性资源池。 设置Elasticsearch和Kafka的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据Elasticsearch和Kafka的地址测试队列连通性
-
查看队列的使用者(废弃) - 数据湖探索 DLI
查看队列的使用者(废弃) 功能介绍 该API用于查询可以使用的指定队列的所有用户名称。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1.0/{project_id}/queues/{queue_name}/users
-
数据湖探索简介 - 数据湖探索 DLI
时,队列2不能使用队列1中的资源,只能单独对队列1进行扩容。 添加到同一个弹性资源池的多个队列,CU资源可以共享,达到资源的合理利用。 配置跨源时,必须为每个队列分配不重合的网段,占用大量VPC网段。 多队列通过弹性资源池统一进行网段划分,减少跨源配置的复杂度。 资源调配 多个队
-
概述 - 数据湖探索 DLI
Flink、trino生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序
-
DLI分区内表导入的文件不包含分区列的数据,导致数据导入完成后查询表数据失败 - 数据湖探索 DLI
DLI分区内表导入的文件不包含分区列的数据,导致数据导入完成后查询表数据失败 问题现象 DLI分区内表导入了CSV文件数据,导入的文件数据没有包含对应分区列的字段数据。分区表查询时需要指定分区字段,导致查询不到表数据。 问题根因 DLI分区内表在导入数据时,如果文件数据没有包含分
-
DLI SDK与API的对应关系 - 数据湖探索 DLI
DLI SDK与API的对应关系 OBS授权 表1 OBS授权相关API&SDK的对应关系表 Class Method Java Method Python Method API Authorize OBS授权 authorizeBucket - POST /v1.0/{proj
-
Elasticsearch结果表 - 数据湖探索 DLI
DLI将Flink作业的输出数据输出到云搜索服务CSS的Elasticsearch中。Elasticsearch是基于Lucene的当前流行的企业级搜索服务器,具备分布式多用户的能力。其主要功能包括全文检索、结构化搜索、分析、聚合、高亮显示等。能为用户提供实时搜索、稳定可靠的服务。适用于日志分析、站内搜索等场景。
-
Elasticsearch结果表 - 数据湖探索 DLI
DLI将Flink作业的输出数据输出到云搜索服务CSS的Elasticsearch中。Elasticsearch是基于Lucene的当前流行的企业级搜索服务器,具备分布式多用户的能力。其主要功能包括全文检索、结构化搜索、分析、聚合、高亮显示等。能为用户提供实时搜索、稳定可靠的服务。适用于日志分析、站内搜索等场景。
-
为什么云监控CES服务看不到DLI队列的资源运行情况? - 数据湖探索 DLI
为什么云监控CES服务看不到DLI队列的资源运行情况? DLI队列在没有作业运行时没有资源和流量的使用,该场景下在CES则不会显示该队列的运行情况。 父主题: 运维指导
-
创建Flink SQL作业时选择OBS桶,提示未授权 - 数据湖探索 DLI
SQL作业,配置参数时,选择自己创建的OBS桶,提示“该OBS桶未授权。立即授权”,单击“立即授权”后提示“服务器内部出错了,请联系华为云客服或者稍后重试”,无法授权。 解决方案 在报错页面,通过F12查看错误详细信息: {"error_code":"DLI.10001","error_msg":"服务内部出错了。{0}
-
(推荐)DLI SDK V3 - 数据湖探索 DLI
写作说明 本文介绍了DLI服务提供的V3版本的SDK,列举了最新版本SDK的获取地址。 SDK列表 表1提供了DLI云服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址 参考文档 视频指导 Java
-
DLI的计费模式有哪些? - 数据湖探索 DLI
CU时套餐包的额度会按订购周期重置。 DLI表的数据存储 按需计费 按照存储在DLI服务中的数据存储量(单位为“GB”)收取存储费用。 存储费用=单价*存储数据量(GB)*小时数 存储套餐包 购买了存储量套餐包,按需使用过程中优先抵扣存储套餐包的规格额度,超过套餐包额度的按照按需计费。存储套餐的额度每个小时会重置。