检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置PowerBI通过Kyuubi连接DLI进行数据查询和分析 Power BI提供了数据集成、数据仓库、报告和数据可视化等功能,能够将复杂的数据转换为易于理解和交互的可视化图表和仪表板,从而帮助企业做出基于数据的决策。 Kyuubi是一个分布式SQL查询引擎,它允许用户通过标准的SQL接口来访问和分析数据。 将Power
在“队列管理”页面,选择需要测试地址连通性的队列,单击操作列下的“更多 > 测试地址连通性”。 在“测试地址连通性”页面填写需要测试的地址。支持域名和IP,可指定端口。 数据源地址支持以下输入格式:IPv4地址、IPv4+端口号、域名、域名+端口号。 · IPv4地址:192.168
据查询和分析 Tableau是一款数据分析和可视化工具,支持通过拖放式界面连接到各种数据源,创建交互式和共享式的数据可视化,从而将数据转化为可操作的见解。 Kyuubi是一个分布式 SQL 查询引擎,它提供了标准的SQL接口,使用户能够方便地访问和分析存储在大数据平台中的数据。
本章节定义了数据湖探索服务上报云监控的监控指标的命名空间,监控指标列表和维度定义,用户可以通过云监控服务提供的管理控制台或API接口来检索数据湖探索服务产生的监控指标和告警信息。 命名空间 SYS.DLI 监控指标 表1 数据湖探索服务支持的监控指标 指标ID 指标名称 指标含义
ECS需要放通30000至32767端口、8998端口。具体操作请参考添加安全组规则。 ECS需安装Java JDK,JDK版本建议为1.8。配置Java环境变量JAVA_HOME。 查询弹性云服务器ECS详细信息,获取ECS的“私有IP地址”。 使用增强型跨源连接打通DLI队列和Livy实例所在的VPC网络。具体操作可以参考增强型跨源连接。
0支持 弹性资源池和队列 使用DLI提交作业前,您需要为提交作业准备所需的计算资源。 · 弹性资源池和队列:弹性资源池为DLI作业运行提供所需的计算资源(CPU和内存),灵活应对业务对计算资源变化的需求。同一弹性资源池中,队列之间的计算资源支持共享。通过合理设置队列的计算资源分配策略,可以提高计算资源利用率。
Access”是跨源场景访问和使用VPC、子网、路由、对等连接的权限。 了解更多DLI委托权限请参考DLI委托权限。 选择dli_management_agency需要包含的权限后,并单击“更新委托权限”。 图1 更新委托权限 委托更新完成后,重新创建跨源连接和运行作业。 父主题: 增强型跨源连接类
入方向规则:检查本安全组内的入方向网段及端口是否已开放,若没有则添加。 出方向规则:检查出方向规则网段及端口是否开放(建议所有网段开放)。 客户安全组入方向和出方向配置的都是DLI队列的子网。建议客户将入方向源地址配成0.0.0.0/0,端口8000,表示任意地址都可以访问DWS8000端口。 将入方向源地址配成0
允许 协议端口 网络协议。目前支持“All”、“TCP”、“UDP”、“ICMP”和“GRE”等协议。 端口:允许远端地址访问指定端口,取值范围为:1~65535。 本例中选择TCP协议,端口值不填或者填写为步骤1:获取外部数据源的内网IP、端口和安全组获取的数据源的端口。 类型 IP地址类型。
队列名称。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 address 是 String 测试地址。格式为:IP地址或域名:访问端口。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success 是 Boolean 请求执行是否成功。“true”表示请求执行成功。
建立DLI与共享VPC中资源的网络连接 共享VPC简介 共享VPC是通过资源访问管理服务(RAM)将本账号的VPC资源共享给其他账号使用。例如,账号A可以将自己账号下创建的VPC和子网共享给账号B。在账号B接受共享以后,账号B可以查看到共享的VPC和子网,并可以使用该共享VPC和子网创建资源。
检查是否在域名或者IP后添加了端口 检查是否连接的是对端VPC和子网 检查队列的网段是否与数据源网段是否重合 检查是否为DLI授权了DLI Datasource Connections Agency Access权限 检查对端安全组是否放通队列的网段 检查增强型跨源连接对应的对等连接的路由信息 检
步骤1:创建队列:创建DLI作业运行的队列。 步骤2:创建RDS MySQL数据库和表:创建RDS MySQL的数据库和表。 步骤3:创建DWS数据库和表:创建用于接收数据的DWS数据库和表。 步骤4:创建增强型跨源连接:DLI上创建连接RDS和DWS的跨源连接,打通网络。 步骤5:运行作业:DLI上创建和运行Flink
数据库服务器 单击输入框旁边的“选择”按钮,选择当前已创建的DWS集群名称。 端口 DWS数据库的端口,默认为:8000。 数据库名称 当前需要迁移的DWS数据库名称。当前示例为DWS集群上创建数据库和表中创建的数据库“testdwsdb”。 用户名 待连接数据库的用户。该数据库用户需要
DLI跨源分析场景连接外部数据源时,由于数据源的VPC与DLI VPC不同,网络无法连通,导致DLI无法读取数据源数据。DLI提供的增强型跨源连接功能可以实现DLI与数据源的网络连通。 本节操作为您介绍跨VPC的数据源网络连通方案: 创建增强型跨源连接:采用对等连接的方式打通DLI与数据源的VPC网络。 测试
url RDS的连接地址,需要先创建跨源连接,管理控制台操作请参考增强型跨源连接。 创建经典型跨源连接后,使用经典型跨源连接中返回的连接地址。 创建增强型跨源连接后,使用RDS提供的"内网域名"或者内网地址和数据库端口访问,MySQL格式为"协议头://内网IP:内网端口",Post
数据源所使用的虚拟私有云。 子网 数据源所使用的子网。 路由表 显示子网实际绑定的路由表。 说明: 此处的路由表为目的数据源子网关联的路由表,不同于“路由信息”中的路由。“路由信息”中的路由为所绑定的队列下子网关联的路由表中的路由。 目的数据源子网与队列所在子网为不同的子网,否则会造成网段冲突。
Access”是跨源场景访问和使用VPC、子网、路由、对等连接的权限。 了解更多DLI委托权限请参考DLI委托权限。 选择dli_management_agency需要包含的权限后,并单击“更新委托权限”。 图1 更新委托权限 委托更新完成后,重新创建跨源连接和运行作业。 父主题: 增强型跨源连接类
入方向规则:检查本安全组内的入方向网段及端口是否已开放,若没有则添加。 检查网段及端口是否配置。 图2 检查网段及端口是否配置 如果不存在,则进行添加。 图3 添加入方向规则 出方向规则:检查出方向规则网段及端口是否开放(建议所有网段开放)。 检查网段及端口是否配置。 图4 检查网段及端口是否配置。
单击输入框旁边的“选择”按钮,选择当前已创建的RDS实例名即可自动关联出来数据库服务器地址。 端口 RDS实例的端口。选择数据库服务器后自动自动关联。 数据库名称 当前需要迁移的RDS MySQL数据库名称。当前示例为3中创建的数据库“testrdsdb”。 用户名 待连接数据库的用户。