正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
什么是增强型跨源连接? DLI跨源分析场景连接外部数据源时,由于数据源的VPC与DLI VPC不同,网络无法连通,导致DLI无法读取数据源数据。DLI提供的增强型跨源连接功能可以实现DLI与数据源的网络连通。 本节操作为您介绍跨VPC的数据源网络连通方案: 创建增强型跨源连接:采用对等连接的方式打通DLI与数据源的VPC网络。
Flink作业管理界面对用户进行授权时提示用户不存在怎么办 问题现象 在“作业管理 > Flink作业”,对应作业“操作”列,选择“更多 > 权限管理”,对新用户进行授权操作时提示“No such user. userName:xxxx.”错误。 解决方案 请先确认下当前用户名是否存在。
与目的数据源的vpc网络,通过点对点的方式实现数据互通。 图1 增强型跨源连接配置流程 增强型跨源连接配置示例请参考配置DLI队列与内网数据源的网络连通。 配置DLI队列与公网网络连通 通过配置SNAT规则,添加到公网的路由信息,可以实现队列到和公网的网络打通。 图2 配置DLI队列访问公网流程
访问FlinkUI/SparkUI页面无法正常显示怎么办? 问题现象 访问FlinkUI/SparkUI页面无法正常显示,打开页面返回信息不全。 根因分析 根据分析发现队列为按需队列,队列运行作业的时候会重新创建集群,大概需要10分钟左右才能完成集群创建。在集群创建完成之前,访问
已经给表授权,但是再次报错无法查询怎么办? 已经给表授权,且测试查询成功,但一段时间后重试报错无法查询。 这种情况请先检查当前表的权限是否还存在,一般存在两种情况: 用户权限被取消。 查看表的创建时间,看表是否被他人删除重建,删除表后重建的相同表名并不视作同一张表,不会继承删除表的权限。
图2 检查网段及端口是否配置 如果不存在,则进行添加。 图3 添加入方向规则 出方向规则:检查出方向规则网段及端口是否开放(建议所有网段开放)。 检查网段及端口是否配置。 图4 检查网段及端口是否配置。 如果不存在,则进行添加。 图5 添加出方向规则 增强型跨源 检查DLI队列对应网
永洪BI添加数据源 操作场景 在永洪SaaS生产环境中添加DLI的数据源。 操作步骤 在永洪SaaS生产环境主页,单击左侧导航栏中的“添加数据源”,请参见图1。 图1 添加数据源 “选择数据源类型”页面中,新建数据源类型选择“GENERIC”。请参见图2。 图2 选择数据源类型 添加数据源的相关配置,请参见图3。
如何实现跨区域访问数据 打通不同区域间的VPC网络,具体请参考《跨区域同账号VPC互通》。 在DLI中创建增强型跨源链接,绑定队列。具体请参考《增强型跨源连接》。 添加DLI的路由。具体请参考《增强型跨源连接》。 父主题: 跨源分析问题
输入数据源连接地址和端口,测试网络连通性。 格式:IP:端口 测试连接前,请确保外部数据源的安全组已放通队列的网段。 图3 测试队列与数据源的网络连通性 相关操作 创建跨源成功但测试网络连通性失败怎么办? 配置DLI队列与内网数据源的网络连通。 配置DLI与公网数据源的网络连通。 父主题:
SQL作业执行完成后,修改表名导致datasize修改失败怎么办? 如果执行SQL后立即修改了表名,可能会导致表的数据大小结果不正确。 如需修改表名,建议在SQL作业执行完成后,间隔5分钟再修改表名。 父主题: 运维指导
向表中添加分区时,此表和分区列(建表时PARTITIONED BY指定的列)必须已存在,而所要添加的分区不能重复添加,否则将出错。已添加的分区可通过IF NOT EXISTS避免报错。 若分区表是按照多个字段进行分区的,添加分区时需要指定所有的分区字段,指定字段的顺序可任意。 “partition_specs”中的参数默认带有“(
手动在OBS表的分区目录下添加了数据,但是无法查询到该部分数据 问题现象 手动在OBS表的分区目录下上传了分区数据,但是在SQL编辑器中查询该表新增的分区数据时却查询不到。 解决方案 手动添加分区数据后,需要刷新OBS表的元数据信息。具体操作如下: MSCK REPAIR TABLE
增强型跨源连接绑定队列失败 DLI增强型跨源连接DWS失败 创建跨源成功但测试网络连通性失败怎么办? 怎样配置DLI队列与数据源的网络连通? DLI创建跨源连接,进行绑定队列一直在创建中怎么办? 按需队列怎样绑定跨源链接? 如何打通DLI和数据源的网络? 父主题: 跨源连接相关问题
系统提示信息,执行成功时,信息可能为空。 connection_id 否 String 连接ID,用于标识跨源连接的UUID。 请求示例 { "name": "test1", "security_group_id": "a07ab107-a4ad-4835-ad09-08a2f2efccdb"
配置DLI与数据源网络连通(增强型跨源连接) 增强型跨源连接概述 创建增强型跨源连接 建立DLI与共享VPC中资源的网络连接 增强型跨源连接权限管理 增强型跨源连接绑定弹性资源池 增强型跨源连接与弹性资源池解绑 添加增强型跨源连接的路由信息 删除增强型跨源连接的路由信息 修改弹性资源池的主机信息
DLI创建跨源连接,进行绑定队列一直在创建中怎么办? 跨源连接创建慢,有以下几种可能: 购买DLI队列后,第一次进行绑定队列。通常需要等待5~10分钟,待后台拉起集群后,即可创建成功。 若刚刚对队列进行网段修改,立即进行绑定队列。通常需要等待5~10分钟,待后台重建集群后,即可创建成功。
DLI执行作业需要读写外部数据源时需要具备两个条件: 打通DLI和外部数据源之间的网络,确保DLI队列与数据源的网络连通。 妥善保存数据源的访问凭证确保数据源认证的安全性,便于DLI安全访问数据源。 本节操作介绍配置DLI读写外部数据源数据操作流程。 配置DLI与数据源网络连通:您可以参考配置
先级越低。 执行引擎 添加的队列类型为“SQL队列”时执行引擎为spark。 添加的队列类型为“通用队列”时执行引擎可以是spark和flink,当前界面显示为--。 创建时间 弹性资源池添加队列的时间。 企业项目 队列所属的企业项目。 弹性资源池支持添加不同企业项目的队列资源。
添加Python包后,找不到指定的Python环境 添加Python3包后,找不到指定的Python环境。 可以通过在conf文件中,设置spark.yarn.appMasterEnv.PYSPARK_PYTHON=python3,指定计算集群环境为Python3环境。 目前,新
据错误 SQL作业中存在join操作,因为自动广播导致内存不足,作业一直运行中 join表时没有添加on条件,造成笛卡尔积查询,导致队列资源爆满,作业运行失败 手动在OBS表的分区目录下添加了数据,但是无法查询到该部分数据 为什么insert overwrite覆盖分区表数据的时候,覆盖了全量数据?