检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置DLI访问其他云服务的委托权限 DLI委托概述 创建DLI自定义委托权限 常见场景的委托权限策略 典型场景DLI委托权限配置示例
添加订阅 登录DLI控制台,创建Flink作业,编写作业SQL后,配置“运行参数”。本例对重点参数加以说明,其他参数根据业务情况自行配置即可。 Flink Jar作业可靠性配置与SQL作业相同,不再另行说明。 根据如下公式,配置作业的“CU数量”、“管理单元”与“最大并行数”: CU数量
提交作业时提示作业桶权限不足怎么办? 问题描述 已经配置DLI作业桶,且完成Flink桶授权后在提交作业时仍然提示桶未授权怎么办? 根因分析 使用DLI作业桶需要确保已完成DLI作业桶的权限配置。 您需要在OBS管理控制台中检查DLI作业桶的桶策略,确保策略中包含了允许DLI服务进行必要操作的授权信息。
配置DLI云服务委托权限 使用DLI服务前请先配置DLI云服务权限。 本节操作适用于以下场景: 首次使用DLI服务,请参考本节操作按需配置DLI云服务委托权限。 使用DLI的过程中需要与其他云服务协同工作,因此需要您将部分服务的操作权限委托给DLI服务,确保DLI具备基本使用的权
典型场景DLI委托权限配置示例 表1 DLI委托权限配置场景开发指南 类型 操作指导 说明 Flink作业场景 Flink Opensource SQL使用DEW管理访问凭据 Flink Opensource SQL场景使用DEW管理和访问凭据的操作指导,将Flink作业的输出数
OBS表压缩率较高怎么办? 当您在提交导入数据到DLI表的作业时,如果遇到Parquet/Orc格式的OBS表对应的文件压缩率较高,超过了5倍的压缩率,您可以通过调整配置来优化作业的性能。 具体方法:在submit-job请求体conf字段中配置“dli.sql.files.ma
MRS配置 DLI跨源连接中配置MRS主机信息 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 对接MRS HBase需要在DLI队列的host文件中添加MRS集群节点的/etc/hosts信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。
配置DLI作业桶 使用DLI服务前需配置DLI作业桶,该桶用于存储DLI作业运行过程中产生的临时数据,例如:作业日志、作业结果。 本节操作指导您在DLI管理控制台的“全局配置 > 工程配置”页面配置DLI作业桶。 操作前准备 配置前,请先购买OBS桶或并行文件系统。 大数据场景推
Flink Jar作业是否支持上传配置文件,要如何操作? Flink Jar作业上传配置文件操作流程 自定义(JAR)作业支持上传配置文件。 将配置文件通过程序包管理上传到DLI; 在Flink jar作业的其他依赖文件参数中,选择创建的DLI程序包; 在代码中通过ClassName
的操作步骤。 操作流程 图1 操作流程 步骤1:安装并配置Kyuubi连接DLI:安装并配置Kyuubi,确保Kyuubi可以连接到DLI。 步骤2:配置ODBC连接Kyuubi:配置Superset安装数据连接驱动。 步骤3:配置Tableau使用ODBC连接到Kyuubi:在
出现该问题可能原因如下: 安全组配置不正确 子网配置不正确 处理步骤 检查客户安全组是否放通,安全组放通规则如下所示。 入方向规则:检查本安全组内的入方向网段及端口是否已开放,若没有则添加。 出方向规则:检查出方向规则网段及端口是否开放(建议所有网段开放)。 客户安全组入方向和出方向配置的都是DLI
操作流程 图1 操作流程 步骤1:安装并配置Kyuubi连接DLI:安装并配置Kyuubi,确保Kyuubi可以连接到DLI。 步骤2:配置ODBC连接Kyuubi:安装ODBC驱动,配置ODBC驱动连接到Kyuubi服务器。 步骤3:配置Power BI使用ODBC连接到Ky
设置告警规则基本信息,并配置告警规则的详细信息。 详细参数说明请参考按全量指标创建。 配置告警规则时选择的Prometheus实例应是需要配置告警通知的作业所在的弹性资源池绑定的Prometheus 实例。 配置高级设置:仅”全量指标创建”的方式支持该配置项,配置时建议开启无数据处理。即配置监控周
操作步骤 从Python官网下载并安装Python版本。 根据Python官方指导安装Python版本。 检验是否配置成功,运行cmd ,输入 python。运行结果,请参见图1,显示版本信息,则说明安装和配置成功。 图1 检验配置是否成功 python安装应用包时出现错误类似错误“error:
的操作步骤。 操作流程 图1 操作流程 步骤1:安装并配置Kyuubi连接DLI:安装并配置Kyuubi,确保Kyuubi可以连接到DLI。 步骤2:Beeline安装数据连接驱动:配置Beeline安装数据连接驱动。 步骤3:配置Beeline连接Kyuubi:在BI工具中创建
配置时间模型 Flink中主要提供两种时间模型:Processing Time和Event Time。 DLI允许在创建Source Stream和Temp Stream的时候指定时间模型以便在后续计算中使用。 配置Processing Time Processing Time是
配置时间模型 Flink中主要提供两种时间模型:Processing Time和Event Time。 DLI允许在创建Source Stream和Temp Stream的时候指定时间模型以便在后续计算中使用。 配置Processing Time Processing Time是
图2 添加订阅 登录DLI控制台,创建Flink SQL作业,编写作业SQL后,配置“运行参数”。 Flink Jar作业可靠性配置与SQL作业相同,不再另行说明。 根据如下公式,配置作业的“CU数量”、“管理单元”与“最大并行数”: CU数量 = 管理单元 + (算子总并行数 /
install 安装完成后,可以通过运行以下命令来验证dbt是否正确安装: dbt --version 步骤2:配置DBT连接DLI 配置profiles.yml文件用于保存DBT与DLI的连接信息。 在安装DBT的服务器的主目录下找到 .dbt 目录,创建或编辑 profiles
在/etc/host文件中配置IP地址 步骤2:Fine BI安装数据连接驱动 下载并安装Fine BI 获取Fine BI安装包 找到下载的Fine BI安装程序文件。 双击运行安装程序。 按照安装向导的指示进行操作,包括接受许可协议、选择安装类型(典型安装或自定义安装)、设置安装目录等。 配置Fine