检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI JDBC Driver支持的API列表 DLI JDBC Driver支持JDBC标准的众多API,也有部分API不支持用户调用,例如涉及事务调用的API“prepareCall”,调用这类API将抛出“SQLFeatureNotSupportedException”异常
接信息”>“内网地址”,即可获取对应信息。 测试结果显示可达,则DLI队列与MySQL实例的网络已经联通。 图7 测试结果 如果测试结果不可达,请参考创建跨源成功但测试网络连通性失败怎么办?进行排查。 排查完成后,重新进行网络连通性测试。 步骤5:创建跨源认证 跨源分析场景中,如
增强型跨源创建后状态为“已激活”,但不能说明队列和数据源已连通。建议前往队列管理页面测试数据源网络是否打通。操作步骤如下: 在队列管理页面选择队列。 单击“操作”列中的“更多 > 测试地址连通性”。 输入数据源的“IP:端口”测试网络连通性。 在增强型跨源连接的详情页可以查看对等连接的相关信息。 对
用户可以通过dli.sql.job.timeout(单位是秒)参数配置超时时间。 DLI支撑本地测试Spark作业吗? DLI暂不支持本地测试Spark作业,您可以安装DLI Livy工具,通过Livy工具提供的交互式会话能力调测Spark作业。 推荐使用使用Livy提交Spark Jar作业。
一般情况下,建议就近选择靠近您或者您的目标用户的区域,这样可以减少网络时延,提高访问速度。不过,在基础设施、BGP网络品质、资源的操作与配置等方面,中国大陆各个区域间区别不大,如果您或者您的目标用户在中国大陆,可以不用考虑不同区域造成的网络时延问题。 香港、曼谷等其他地区和国家提供国际带宽,主
BlackHole结果表 功能描述 BlackHole Connector允许接收所有输入记录,常用于高性能测试和UDF 输出,其不是实质性Sink。Blackhole结果表是系统内置的Connector。 例如,如果您在注册其他类型的Connector结果表时报错,但您不确定是
BlackHole 功能描述 BlackHole Connector允许接收所有输入记录,常用于高性能测试和UDF输出,其不是实质性Sink。Blackhole结果表是系统内置的Connector。 例如,如果您在注册其他类型的Connector结果表时报错,但您不确定是系统问题
描述 table_name 表名称。 注意事项 语句所涉及的表必须存在,否则会出错。 示例 Saprk 2.4.5版本示例: 执行以下命令返回测试表testDB01.testTable5的建表语句 SHOW CREATE TABLE testDB01.testTable5 返回test表的建表语句:
网关联了网络ACL。网络ACL是一个子网级别的可选安全层,通过与子网关联的出方向/入方向规则控制出入子网的数据流。关联子网后,网络ACL默认拒绝所有出入子网的流量,直至添加放通规则。通过检查,发现其DWS所在子网关联的ACL是空值。 因此,问题的原因是:客户子网关联了网络ACL,
DataGen源表 功能描述 DataGen主要用于生成随机数据,可用于调试以及测试等场景。 前提条件 无 注意事项 创建DataGen表时,表字段类型不支持Array,Map和Row复杂类型,可以通过CREATE TABLE语句中的“COMPUTED COLUMN”来进行类似功能构造。
DataGen 功能描述 DataGen主要用于生成随机数据,可用于调试以及测试等场景。 表1 支持类别 类别 详情 支持表类型 源表 注意事项 创建DataGen表时,表字段类型不支持Array,Map和Row复杂类型,可以通过CREATE TABLE语句中的“COMPUTED
新建跨源连接,显示已激活,但使用时提示communication link failure错误怎么办? 根因分析 网络连通性问题,建议用户检查安全组选择是否正确,检查安全组网络(vpc)配置。 解决方案 示列:创建RDS跨源,使用时报“communication link failure”错误。
列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka的地址-->测试)。若能连通,则表示跨源已经绑定成功;否则表示未成功。 创建flink opensource
骤1:创建队列中创建的队列,在操作列,单击“更多 > 测试地址连通性”。 在“测试连通性”界面,根据2中获取的Kafka连接信息,地址栏输入“Kafka内网地址:Kafka数据库端口”,单击“测试”测试DLI到Kafka网络是否可达。 创建DLI连接DWS的增强型跨源连接 在DW
增强型跨源连接类 增强型跨源连接绑定队列失败怎么办? DLI增强型跨源连接DWS失败怎么办? 创建跨源成功但测试网络连通性失败怎么办? 怎样配置DLI队列与数据源的网络连通? 为什么DLI增强型跨源连接要创建对等连接? DLI创建跨源连接,绑定队列一直在创建中怎么办? 新建跨源连
通常为6~10分钟。 创建增强型跨源连接之前需要获取需要建立连接的服务对应VPC的ID和其所在子网的网络ID。获取VPC的ID接口,具体请参考《虚拟私有云API参考》。获取子网网络ID接口,具体请参考《虚拟私有云API参考》。 涉及接口 创建弹性资源池:创建弹性资源池。 创建队列:在弹性资源池中添加队列。
步骤1:创建队列中添加的队列,在操作列,单击“更多 > 测试地址连通性”。 在“测试连通性”界面,根据中获取的Kafka连接信息,地址栏输入“Kafka内网地址:Kafka数据库端口”,单击“测试”测试DLI到Kafka网络是否可达。 创建DLI连接CSS的增强型跨源连接 在CS
入门实践 我们整理了从队列网络连通、不同类型的作业分析、数据迁移场景的常用开发指南和最佳实践内容,帮助您更好的使用DLI进行大数据分析和处理。 表1 DLI常用开发指南与最佳实践 场景 操作指导 描述 Spark SQL作业开发 使用Spark SQL作业分析OBS数据 介绍使用Spark
列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka的地址-->测试)。若能连通,则表示跨源已经绑定成功;否则表示未成功。 创建flink opensource
server disconnected before a response was received. 问题原因 由于CPU使用率过高,导致网络闪断。 解决方案 在SQL语句中配置发送失败重试:connector.properties.retries=5 create table kafka_sink(