检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
BI工具连接DLI方案概述 BI工具是数据分析的强大助手,提供数据可视化、报表生成和仪表板创建等功能。 DLI服务通过对数据的融合分析处理,可以为BI工具提供标准的、有效的高质量数据,供给后续的数据统计分析使用。 通过连接到DLI,BI工具可以更加灵活的使用DLI访问和分析数据,帮助企业快速做出基于数据的决策。
Python SDK环境配置 操作场景 在进行二次开发时,要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统,推荐Windows 7及以上版本。 安装Python Python版本建议使用2.7.10和3.4.0以上版本,需要配置Visual
为什么DLI增强型跨源连接要创建对等连接? DLI增强型跨源连接创建对等连接的主要原因是为了实现DLI与不同VPC中的数据源之间的网络连通。 当DLI需要访问外部数据源,而这些数据源位于不同的VPC中时,由于网络隔离,DLI默认无法直接读取这些数据源的数据。通过创建增强型跨源连接,可以采用对
查询引擎,它提供了标准的SQL接口,使用户能够方便地访问和分析存储在大数据平台中的数据。 通过将Beeline与Kyuubi对接,用户可以利用Kyuubi访问DLI进行数据查询和分析。这种集成简化了数据访问流程,提供了数据的统一管理和分析能力,使得用户能够更深入地洞察数据。 本节操作介
15及以上版本的跨源访问场景 推荐使用数据加密服务DEW来存储数据源的认证信息,为您解决数据安全、密钥安全、密钥管理复杂等问题。 具体操作请参考使用DEW管理数据源访问凭证。 使用DEW管理数据源访问凭证时,您还需要创建DLI云服务委托授予DLI访问其他服务(DEW)读取访问凭证。 SQL作业、Flink
整性和请求双方身份的正确性。获取AK/SK操作步骤如下: 注册并登录华为云管理控制台。 将鼠标移动到右上角用户名上,在下拉列表中单击“我的凭证”。 在左侧导航栏单击“访问密钥”。 单击“新增访问密钥”,进入“新增访问密钥”页面。 根据提示输入对应信息,单击“确定”,在弹出的提示页面单击“立即下载”。
使用标签标识云资源。包括标签键和标签值。 单击“确定”,创建增强型跨源连接。 账号A将1创建的增强型跨源连接授权给账号B使用。 账号A在增强型跨源连接的列表页面,单击操作列下的“更多 > 权限管理”。 选择赋权,输入账号B所在的项目ID,将该连接共享给账号B,授予账号B使用连接访问共享VPC资源的权限。 获取项目ID请参考获取项目ID。
作业ID 所提交Spark作业的ID,由系统默认生成。 名称 所提交Spark作业的名称。 队列 所提交Spark作业所在的队列。 用户名 执行Spark作业的用户名称。 状态 作业的状态信息,包括如下。 启动中:正在启动 运行中:正在执行任务 已失败:session已退出 已成功:session运行成功
DLI允许用户提交编译为Jar包的Flink作业,提供了更高的灵活性和自定义能力,适合需要进行复杂数据处理的场景。 当社区版Flink提供的Connector不能满足特定需求时,用户可以通过Jar作业来实现自定义的Connector或数据处理逻辑。 适合需要实现UDF(用户定义函数
k 2.4.x升级至Spark 3.3.1对数据表的版本有影响吗? 不需要,Spark 2.4.x的SQL队列支持V1表和V2表,因此升级Spark版本只需要考虑Spark版本对SQL语法的兼容性。 示例2:使用通用队列,将Spark版本从Spark 2.4.x升级至Spark 3
增强型跨源连接与弹性资源池解绑 操作场景 当弹性资源池不需要使用增强型跨源连接访问数据源时,可将增强型跨源连接与弹性资源池解绑。 约束限制 增强型跨源绑定弹性资源池所创建的对等连接状态为“已失败”时,不支持解绑该弹性资源池。 操作步骤 登录DLI管理控制台。 在左侧导航栏中,选择“跨源管理
优先推荐使用弹性资源池队列,提高资源使用的灵活性和资源利用效率。购买弹性资源池并在弹性资源池中添加队列请参考创建弹性资源池并添加队列。 用户首次使用子账号创建队列时,需要先使用主账号登录控制台,在DLI的数据库中保持记录,才能创建队列。 新队列第一次运行作业时,需要一定的时间,通常为6~10分钟。 按
存储费用:静态网站文件存储在OBS中产生的存储费用。 请求费用:用户访问OBS中存储的静态网站文件时产生的请求费用。 流量费用:用户使用自定义域名通过公网访问OBS时产生的流量费用。 实际产生的费用与存储的文件大小、用户访问所产生的请求次数和流量大小有关,请根据自己的业务进行预估。 DLI
设置Spark作业优先级 操作场景 在实际作业运行中,由于作业的重要程度以及紧急程度不同,需要重点保障重要和紧急的作业正常运行,因此需要满足它们正常运行所需的计算资源。 DLI提供的设置作业优先级功能,可以对每个Spark作业设置作业优先级,当资源不充足时,可以优先满足优先级较高的作业的计算资源。
Management,简称IAM)进行精细的企业级多租户管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全地控制华为云资源的访问。 通过IAM,您可以在华为云账号中给员工创建IAM用户,并使用策略来控制他们对华为云资源的访问范围。 目前包括角色(粗粒度授权)和策略(细粒度授权)
设置SQL作业优先级 操作场景 在实际作业运行中,由于作业的重要程度以及紧急程度不同,需要重点保障重要和紧急的作业正常运行,因此需要满足它们正常运行所需的计算资源。 DLI提供的设置作业优先级功能,可以对每个SQL设置作业优先级,当资源不充足时,可以优先满足优先级较高的作业的计算资源。
设置Flink作业优先级 操作场景 在实际作业运行中,由于作业的重要程度以及紧急程度不同,需要重点保障重要和紧急的作业正常运行,因此需要满足它们正常运行所需的计算资源。 DLI提供的设置作业优先级功能,可以对每个Flink作业设置作业优先级,当资源不充足时,可以优先满足优先级较高的作业的计算资源。
Jar作业场景需要用户自行编写并构建应用Jar包,适用于对流计算处理复杂度要求较高的用户场景,且用户可以熟练掌握Flink二次开发能力。 本节操作介绍在DLI管理控制台创建Flink Jar作业的操作步骤。 前提条件 创建Flink Jar作业,访问其他外部数据源时,如访问OpenTS
Flink Jar作业是否支持上传配置文件,要如何操作? Flink Jar 包冲突,导致作业提交失败 Flink Jar作业访问DWS启动异常,提示客户端连接数太多错误 Flink Jar作业运行报错,报错信息为Authentication failed Flink Jar作业设置
DLI权限管理类 队列引擎版本升级后,在创建表时,提示权限不足怎么办? 什么是DLI分区表的列赋权? 更新程序包时提示权限不足怎么办? 执行SQL查询语句报错:DLI.0003: Permission denied for resource.... 已经给表授权,但是提示无法查询怎么办?