-
Jobmanager与Taskmanager心跳超时,导致Flink作业异常怎么办? - 数据湖探索 DLI
根因分析 检查网络是否发生闪断,分析集群负载是否很高。 如果频繁出现Full GC, 建议排查代码,确认是否有内存泄漏。 图2 Full GC 处理步骤 如果频繁Full GC, 建议排查代码,是否有内存泄漏。 增加单TM所占的资源。 联系技术支持,修改集群心跳配置参数。 父主题: 运维指导
-
从MySQL CDC源表读取数据写入到DWS - 数据湖探索 DLI
DWS集群连接地址:请参见获取集群连接地址进行获取。如果通过公网地址连接,请指定为集群“公网访问地址”或“公网访问域名”,如果通过内网地址连接,请指定为集群“内网访问地址”或“内网访问域名”。如果通过弹性负载均衡连接,请指定为“弹性负载均衡地址”。 dbadmin:创建集群时设置的默认管理员用户名。
-
配置DLI队列与内网数据源的网络联通 - 数据湖探索 DLI
虚拟私有云”、“子网”、“数据库端口”和“安全组”信息。 CSS 在CSS管理控制台,选择“Elasticsearch > 集群管理”,单击已创建的CSS集群名称,进入到CSS的基本信息页面。 在“基本信息”中获取CSS的“内网访问地址”、“虚拟私有云”、“子网”和“安全组”信息,方便后续操作步骤使用。
-
Flink Opensource SQL Elasticsearch结果表failure-handler参数填写retry - 数据湖探索 DLI
Flink Opensource SQL Elasticsearch结果表failure-handler参数填写retry_rejected导致提交失败 问题说明 Flink Opensource SQL Elasticsearch结果表failure-handler参数填写retry_rejected导致提交失败
-
准备Flink作业数据 - 数据湖探索 DLI
udTable中创建集群,获取集群ID。具体操作请参见《表格存储服务用户指南》《表格存储服务用户指南》中的“入门”章节。 云搜索服务输出通道 如果用户作业需要云搜索服务作为输出通道,需要先在云搜索服务中创建集群,获取集群内网访问地址。具体操作请参见《云搜索服务用户指南》中的“入门”章节。
-
DLI Flink与MRS Flink有什么区别? - 数据湖探索 DLI
特色能力 产品模式 全托管(无需人力运维集群) 半托管(需要人力运维集群) 弹性扩缩容 支持集群容器化部署。 用户可以根据业务负载进行弹性扩缩容,能够基于作业的负载动态调整作业使用资源大小。 支持基于作业优先级动态调整作业的使用资源。 仅支持YARN集群。 上下游数据连接 除了开源con
-
如何查看Flink作业输出结果? - 数据湖探索 DLI
详细操作请参见《表格存储服务用户指南》中的“入门”章节。 DLI支持将Flink作业的结果数据输出到云搜索服务,因此用户需要到云搜索服务上去查看输出结果,详细操作请参见《云搜索服务快速入门》。 DLI支持将Flink作业的结果数据输出到DCS上,因此用户需要到DCS上去查看输出结
-
从PostgreSQL CDC源表读取数据写入到DWS - 数据湖探索 DLI
DWS集群连接地址:请参见获取集群连接地址进行获取。如果通过公网地址连接,请指定为集群“公网访问地址”或“公网访问域名”,如果通过内网地址连接,请指定为集群“内网访问地址”或“内网访问域名”。如果通过弹性负载均衡连接,请指定为“弹性负载均衡地址”。 dbadmin:创建集群时设置的默认管理员用户名。
-
从Kafka读取数据写入到DWS - 数据湖探索 DLI
参考使用gsql命令行客户端连接DWS集群连接已创建的DWS集群。 执行以下命令连接DWS集群的默认数据库“gaussdb”: gsql -d gaussdb -h DWS集群连接地址 -U dbadmin -p 8000 -W password -r gaussdb:DWS集群默认数据库。 DWS集群连接地址
-
OBS输出流 - 数据湖探索 DLI
encode = "orc", obs_dir = "dli-append-2/obsorc", FILE_PREFIX = "es_info", max_record_num_per_file = "100000", dump_interval = "60"
-
OBS输出流 - 数据湖探索 DLI
encode = "orc", obs_dir = "dli-append-2/obsorc", FILE_PREFIX = "es_info", max_record_num_per_file = "100000", dump_interval = "60"
-
性能调优 - 数据湖探索 DLI
性能调优 Flink作业推荐配置指导 Flink作业如何进行性能调优 如何在一个Flink作业中将数据写入到不同的Elasticsearch集群中? Flink作业重启后,如何保证不丢失数据? 父主题: Flink作业相关问题
-
查看DLI队列负载 - 数据湖探索 DLI
查看DLI队列负载 场景概述 如果需要确认DLI队列的运行状态,决定是否运行更多的作业时需要查看队列负载。 操作步骤 在控制台搜索“云监控服务 CES”。 图1 搜索CES 进入CES后,在页面左侧“云服务监控”列表中,单击“数据湖探索”。 图2 云服务监控 选择队列进行查看。 图3
-
Canal Format - 数据湖探索 DLI
scooter", "weight": "5.18" } ], "database": "inventory", "es": 1589373560000, "id": 9, "isDdl": false, "mysqlType": { "id":
-
创建跨源认证(废弃) - 数据湖探索 DLI
认证相关用户密码。 certificate_location 否 String 用户安全集群的证书路径,目前只支持OBS路径,cer类型文件。 datasource_type 是 String 数据源类型,目前支持CSS,KRB,passwd,Kafka_SSL。 krb5_conf 否 String
-
创建跨源认证 - 数据湖探索 DLI
认证相关用户密码。 certificate_location 否 String 用户安全集群的证书路径,目前只支持OBS路径,cer类型文件。 datasource_type 是 String 数据源类型,目前支持CSS,KRB,passwd,Kafka_SSL。 krb5_conf 否 String
-
产品优势 - 数据湖探索 DLI
DLI提供标准SQL接口,用户仅需使用SQL便可实现海量数据查询分析。SQL语法全兼容标准ANSI SQL 2003。 存算分离 DLI解耦计算和存储负载,存算分离架构,存储资源和计算资源按需灵活配置,提高了资源利用率,降低了成本。 企业级多租户 支持计算资源按租户隔离,数据权限控制到队列、
-
访问FlinkUI/SparkUI页面无法正常显示怎么办? - 数据湖探索 DLI
根据分析发现队列为按需队列,队列运行作业的时候会重新创建集群,大概需要10分钟左右才能完成集群创建。在集群创建完成之前,访问FlinkUI会导致缓存空的projectID,从而导致无法访问。出现该问题可能原因是由于集群未创建。 解决方案 建议将队列更换为专属队列,空闲状态下集群不会被释放。或者提交作业等一段时间之后在查看FlinkUI。
-
DWS维表 - 数据湖探索 DLI
请务必确保您的账户下已在数据仓库服务(DWS)里创建了DWS集群。如何创建DWS集群,请参考《数据仓库服务管理指南》中“创建集群”章节。 请确保已创建DWS数据库表。 该场景作业需要运行在DLI的独享队列上,因此要与DWS集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。
-
DWS维表 - 数据湖探索 DLI
请务必确保您的账户下已在数据仓库服务(DWS)里创建了DWS集群。如何创建DWS集群,请参考《数据仓库服务管理指南》中“创建集群”章节。 请确保已创建DWS数据库表。 该场景作业需要运行在DLI的独享队列上,因此要与DWS集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。