检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
15及以上版本的跨源访问场景推荐使用数据加密服务DEW来存储数据源的认证信息,为您解决数据安全、密钥安全、密钥管理复杂等问题。具体操作请参考使用DEW管理数据源访问凭证。 约束和限制 在同一队列中,如果同时使用了经典型跨源连接和增强型跨源连接,则经典型跨源连接优先于增强型跨源连接。推荐使用增强型跨源连接。
<queue_name> word_count.py 请使用"./spark-submit",不要使用"spark-submit",后者可能会使用本地环境中已有的Spark环境,而不是DLI队列。 父主题: 使用客户端工具连接DLI
检查增强型跨源连接对应的对等连接的路由信息 检查增强型跨源连接对应的对等连接的路由表,该路由表的本端路由地址网段是否和别的网段有重合,如果重合,路由可能转发错误。 获取增强型跨源连接创建的对等连接ID。 图8 获取对等连接ID 在VPC-对等连接控制台查看对等连接信息。 图9 查看对等连接
新建跨源连接,显示已激活,但使用时提示communication link failure错误怎么办? 根因分析 网络连通性问题,建议用户检查安全组选择是否正确,检查安全组网络(vpc)配置。 解决方案 示列:创建RDS跨源,使用时报“communication link failure”错误。
创建并使用跨源链接 场景描述 本章节指导用户通过API创建增强型跨源连接。 约束限制 新队列第一次运行作业时,需要一定的时间,通常为6~10分钟。 创建增强型跨源连接之前需要获取需要建立连接的服务对应VPC的ID和其所在子网的网络ID。获取VPC的ID接口,具体请参考《虚拟私有云
下载并安装JDBC驱动包 操作场景 JDBC用于连接DLI服务,您可以在Maven获取JDBC安装包,或在DLI管理控制台下载JDBC驱动文件。 本文介绍通过JDBC连接DLI并提交SQL作业。 获取服务端连接地址 连接DLI服务的地址格式为:jdbc:dli://<endPoi
getSchemas() ResultSet getSchemas(String catalog, String schemaPattern) 父主题: 使用JDBC提交SQL作业
java样例代码 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 CSS非安全集群 开发说明 代码实现 构造依赖信息,创建SparkSession 导入依赖 涉及到的mvn依赖库 <dependency> <groupId>org
创建经典型跨源连接 功能介绍 该API用于创建与其他服务的经典型跨源连接。 推荐使用创建增强型跨源连接。 系统default队列不支持创建跨源连接。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v2.0/{p
大规模消息处理场景中使用。 前提条件 确保已创建Kafka集群。 该场景作业需要运行在DLI的独享队列上,因此要与kafka集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全
使用Flink Jar连接开启SASL_SSL认证的Kafka 概述 本节操作介绍使用Flink Jar连接开启SASL_SSL认证的Kafka的操作方法。 如需使用Flink OpenSource SQL连接开启SASL_SSL认证的Kafka,请参考Flink SQL语法参考-Kafka源表。
或者双击左侧表名“qw”,上述查询语句会自动在作业编辑窗口中输入。 DLI还为您提供了丰富的SQL模板,每种模板都为您提供了使用场景、代码示例和使用指导。您也可以直接使用SQL作业模板快速实现您的业务逻辑。了解模板更多信息请参考创建SQL作业模板。 单击“更多”中的“语法校验”,确认SQL语句书写是否正确。
过建立增强型跨源连接,打通DLI与数据源之间的网络,再开发不同的作业访问数据源以实现DLI跨源分析。 本节操作介绍DLI支持的数据源对应的开发方式。 使用须知 Flink作业访问DIS,OBS和SMN数据源,无需创建跨源连接,可以直接访问。 推荐使用增强型跨源连接打通DLI与数据源之间的网络。
如果您正在使用DLI经典型跨源连接的功能,请尽快更换使用增强型跨源连接。 否则使用经典型跨源连接操作过程中出现的错误,不再提供该功能的任何技术服务支持。 DLI经典型跨源连接停止服务后,可以使用哪个功能替换? 推荐使用增强型跨源连接。 DLI提供的增强型跨源连接功能,通过建立
删除经典型跨源连接 功能介绍 该API用于删除已创建的经典型跨源连接。创建中的连接,无法删除。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 DELETE /v2.0/{project_id}/datasource-con
could not be found."} 原因分析 DLI跨源连接需要使用VPC、子网、路由、对等连接、端口功能,因此需要获得VPC(虚拟私有云)的VPC Administrator权限。 客户未给VPC服务授权导致DLI跨源连接报错找不到子网。 处理步骤 登录DLI管理控制台,选择“全局配置
join_condition:连接条件,如果该条件恒成立(比如1=1),该连接就是笛卡尔连接。所以,笛卡尔连接输出的记录条数等于被连接表的各记录条数的乘积,若需要进行笛卡尔积连接,需使用专门的关键词CROSS JOIN。CROSS JOIN是求笛卡尔积的标准方式。 注意事项 所要进行JOIN连接的表必须是已经存在的表,否则会出错。
update_time 否 Long 更新时间。 表4 连接状态 名称 含义 说明 CREATING 创建中 跨源连接正在创建中。 ACTIVE 已激活 跨源连接创建成功,与目的地址连接正常。 FAILED 已失败 跨源连接创建失败。 DELETED 已删除 跨源连接已被删除。 请求示例 无 响应示例
创建增强型跨源连接 edsconnection createConnection 删除增强型跨源连接 edsconnection deleteConnection 创建经典型跨源连接 edsconnection createConnection 删除经典型跨源连接 edsconnection
Access”是跨源场景访问和使用VPC、子网、路由、对等连接的权限。 了解更多DLI委托权限请参考DLI委托权限。 选择dli_management_agency需要包含的权限后,并单击“更新委托权限”。 图1 更新委托权限 委托更新完成后,重新创建跨源连接和运行作业。 父主题: 增强型跨源连接类