检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
2021-03-24 10:02:03,0001,Alice,330106) 常见问题 Q:Flink作业运行失败,作业运行日志中如下报错信息,应该怎么解决? org.postgresql.util.PSQLException: ERROR: logical decoding requires
数据湖探索简介 什么是数据湖探索 数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark、Apache Flink、HetuEngine生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器,即开即用。
概述 欢迎使用数据湖探索。 数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark、Apache Flink、trino生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器,即开即用。支持标准SQL/Spark
"area_street_name":"d3","region_name":"e1"} 常见问题 Q:若Flink作业日志中有如下报错信息,应该怎么解决? java.io.IOException: unable to open JDBC writer ... Caused by: org
"area_street_name":"d3","region_name":"e1"} 常见问题 Q:若Flink作业日志中有如下报错信息,应该怎么解决? java.io.IOException: unable to open JDBC writer ... Caused by: org
状态码 状态码如表1所示。 表1 状态码 状态码 编码 状态码说明 100 Continue 继续请求。 这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。 例如,切换到HTTP的新版本协议。
Elasticsearch结果表 功能描述 DLI将Flink作业的输出数据输出到云搜索服务CSS的Elasticsearch中。Elasticsearch是基于Lucene的当前流行的企业级搜索服务器,具备分布式多用户的能力。其主要功能包括全文检索、结构化搜索、分析、聚合、高亮
Elasticsearch 功能描述 DLI将Flink作业的输出数据输出到云搜索服务CSS的Elasticsearch 引擎的索引中。 Elasticsearch是基于Lucene的当前流行的企业级搜索服务器,具备分布式多用户的能力。其主要功能包括全文检索、结构化搜索、分析、聚
Elasticsearch结果表 功能描述 DLI将Flink作业的输出数据输出到云搜索服务CSS的Elasticsearch中。Elasticsearch是基于Lucene的当前流行的企业级搜索服务器,具备分布式多用户的能力。其主要功能包括全文检索、结构化搜索、分析、聚合、高亮
A:这是因为输入数据中有重复数据,导致在Redis的set中会进行排重,因此个数变少了。 Q:如果Flink作业的日志中有如下报错信息,应该怎么解决? org.apache.flink.table.api.ValidationException: SQL validation failed
timestamp=2021-12-16T21:30:52.181, value=Bob 常见问题 Q:Flink作业运行失败,作业运行日志中如下报错信息,应该怎么解决? org.apache.zookeeper.ClientCnxn$SessionTimeoutException: Client session
例如,本示例队列网段为“172.16.0.0/19”,规则添加为: 优先级选择:1,策略选择:允许 类型:IPv4 协议端口:基本协议\自定义TCP,端口值不填 源地址为:选择IP地址,172.16.0.0/19 单击“确定”完成安全组规则添加。 创建RDS与DLI的增强型跨源连接。 创建增强型跨源连接具体操作请参考创建增强型跨源连接。
datasource v2 tables is only supported in spark3.3 or later version.”怎么办? 使用default创建DataSource表时引擎版本不低于Spark 3.3.1,如果引擎版本低于Spark 3.3.1则会提示上
查询增强型跨源连接 功能介绍 该API用于查询该用户指定的已创建的增强型跨源连接。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v2.0/{project_id}/datasource/enhanced-connections/{connection_id}
使用Livy提交Spark Jar作业 DLI Livy简介 DLI Livy是基于开源的Apache Livy用于提交Spark作业到DLI的客户端工具。 准备工作 创建DLI队列。在“队列类型”中选择“通用队列”,即Spark作业的计算资源。具体请参考创建队列。 准备一个li
查询经典型跨源连接列表 功能介绍 该API用于查询该用户已创建的经典型跨源连接列表。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v2.0/{project_id}/datasource-connection 参数说明
怎样查看DLI队列负载? 怎样监控DLI队列上的作业异常? 怎样将老版本的Spark队列切换成通用型队列 在default队列执行DLI SQL失败,提示超时异常怎么办?
失败的情形(例如:jar包冲突),有时日志不会写到OBS桶中 Jobmanager与Taskmanager心跳超时,导致Flink作业异常怎么办? 父主题: Flink作业类
60.0,2021-03-25 12:03:00,0002,Bob,330110) 常见问题 Q:作业运行失败,运行日志中有如下报错信息,应该怎么解决? java.io.IOException: unable to open JDBC writer ... Caused by: org
配置执行作业的引擎类型。 queuename 是 - DLI服务的队列名称。 databasename 否 - 默认访问的数据库,URL中若不填此项,访问数据库的表时需采用db.table方式(如 select * from dbother.tabletest)。 accesskey