检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
到指定的下一跳地址。 了解更多路由相关信息请参考路由表。 创建增强型跨源时的路由表是数据源子网关联的路由表。 添加路由信息页的路由是弹性资源池子网关联的路由表中的路由。 数据源子网与弹性资源池所在子网为不同的子网,否则会造成网段冲突。 操作步骤 登录DLI管理控制台。 在左侧导航栏中,选择“跨源管理
Flink、HetuEngine生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器,即开即用。 DLI支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或
创建Kerberos跨源认证 操作场景 通过在DLI控制台创建的Kerberos类型的跨源认证,将数据源的认证信息存储到DLI,无需在SQL作业中配置账号密码,安全访问数据源。 MRS Kafka开启Kerberos认证,未开启SSL认证时,创建Kerberos类型的认证。建表时通过krb_auth_name关联跨源认证。
通过配置pwd_auth_name字段写入创建的Password类型的跨源认证名称。如果配置该参数则不需要在SQL中配置数据源的账号密码。 具体的建表操作指导请参考DLI 语法参考。 Flink OpenSource SQL语法参考:创建DWS源表 父主题: 使用DLI的跨源认证管理数据源访问凭证
操作流程 图1 操作流程 步骤1:安装并配置Kyuubi连接DLI:安装并配置Kyuubi,确保Kyuubi可以连接到DLI。 步骤2:配置ODBC连接Kyuubi:安装ODBC驱动,配置ODBC驱动连接到Kyuubi服务器。 步骤3:配置Power BI使用ODBC连接到Ky
造成网段冲突。 主机信息 可选参数,用于配置主机的IP与域名的映射关系,在作业配置时只需使用配置的域名即可访问对应的主机。 例如:访问MRS的HBase集群时需要配置Zookeeper实例的主机名(即域名)与对应的IP地址。每行填写一条记录,填写格式为:“IP 主机名/域名”。 示例:
赋权:当前用户可将跨源认证的权限赋予其他用户。 回收:当前用户可回收其他用户具备的该跨源认证的权限,但不能回收该跨源认证所有者的权限。 查看其他用户具备的权限:当前用户可查看其他用户具备的该跨源认证的权限。 修改当前用户的权限 登录DLI管理控制台。 单击“跨源管理 > 跨源认证”。
跨源认证用于管理访问指定数据源的认证信息。配置跨源认证后,无需在作业中重复配置数据源认证信息,提高数据源认证的安全性,便于DLI安全访问数据源。 SQL作业、Flink 1.12版本的跨源访问场景,使用DLI提供的“跨源认证”管理数据源的访问凭证。 本节操作为您介绍DLI提供的跨源认证的使用方法。 约束与限制 表1 跨源认证约束限制
DLI跨源分析场景连接外部数据源时,由于数据源的VPC与DLI VPC不同,网络无法连通,导致DLI无法读取数据源数据。DLI提供的增强型跨源连接功能可以实现DLI与数据源的网络连通。 本节操作为您介绍跨VPC的数据源网络连通方案: 创建增强型跨源连接:采用对等连接的方式打通DLI与数据源的VPC网络。 测试
使用DLI的跨源认证管理数据源访问凭证 跨源认证概述 创建CSS类型跨源认证 创建Kerberos跨源认证 创建Kafka_SSL类型跨源认证 创建Password类型跨源认证 跨源认证权限管理 父主题: 配置DLI读写外部数据源数据
可以选择配置作业名称,便于识别和筛选。 配置”应用程序”,路径指向上一步上传至OBS的Spark jar包。 配置委托。选择提交DLI作业所需的委托。自定义委托请参考创建DLI自定义委托 。 配置”主类(--class)”,为上一步中所写的,包含需要执行的main函数的类的全名。
创建CSS类型跨源认证 操作场景 通过在DLI控制台创建的CSS类型的跨源认证,将CSS安全集群的认证信息存储到DLI,无需在SQL作业中配置账号密码,安全访问CSS安全集群。 本节操作介绍在DLI控制台创建CSS安全集群的跨源认证的操作步骤。 操作须知 已创建CSS安全集群,且集群满足以下条件:
组、区域、委托的名称和ID。 domainname:帐号名。 username:用户名 password:用户名密码 regionname:所属区域名称 project_id:项目ID 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
保留插入和删除表testTable数据的权限,则需要重新对该表进行权限赋予。 问题根因 删除表后再重建同名的表,该场景下表权限不会自动继承,需要重新对需要操作该该表的用户或项目进行赋权操作。 解决方案 表删除再创建后,需要重新对需要操作该表的用户或项目进行赋权操作。具体操作如下:
选择需导入的作业配置文件的完整OBS路径。单击“下一步”。 配置同名作业策略。单击“下一步”。 勾选“配置同名替换”,如果待导入的作业名已存在,则覆盖已存在的作业配置,并且作业状态重置为草稿。 不勾选“配置同名替换”,如果待导入的作业名已存在,则不导入同名作业的配置。 确认“配
DLI常用跨源分析开发方式 跨源分析 当DLI有访问外部数据源的业务需求时,首先需要通过建立增强型跨源连接,打通DLI与数据源之间的网络,再开发不同的作业访问数据源以实现DLI跨源分析。 本节操作介绍DLI支持的数据源对应的开发方式。 使用须知 Flink作业访问DIS,OBS和SM
Spark作业的实际资源使用情况 查看Spark作业原始资源配置 登录DLI 控制台,单击左侧“作业管理”>“Spark作业”,在作业列表中找到需要查看的Spark作业,单击“作业ID”前的,即可查看对应Spark作业的原始资源配置参数。 在创建Spark作业时,配置了“高级配置”中的参
连接DLI,以访问和分析DLI中的数据的操作步骤。 操作流程 图1 操作流程 步骤1:安装并配置Kyuubi连接DLI:安装并配置Kyuubi,确保Kyuubi可以连接到DLI。 步骤2:配置Beeline连接Kyuubi:在BI工具中创建一个新的数据连接,通过JDBC连接Kyuubi。
问和分析DLI中的数据的操作步骤。 操作流程 图1 操作流程 步骤1:安装并配置Kyuubi连接DLI:安装并配置Kyuubi,确保Kyuubi可以连接到DLI。 步骤2:安装SuperSet并配置数据连接驱动:配置Superset安装数据连接驱动。 步骤3:配置SuperSet
BI安装数据连接驱动 下载并安装Fine BI 获取Fine BI安装包 找到下载的Fine BI安装程序文件。 双击运行安装程序。 按照安装向导的指示进行操作,包括接受许可协议、选择安装类型(典型安装或自定义安装)、设置安装目录等。 配置Fine BI集成JDBC驱动 下载数据驱动。获取Hive