-
怎样升级DLI作业的引擎版本 - 数据湖探索 DLI
单击操作列的“编辑”,进入作业编辑页面。 在参数配置区域,选择新的Spark版本。 使用Spark3.3以上版本的引擎执行作业时,需要Spark参数中配置自定义的委托名称,否则可能会影响作业运行。了解自定义DLI委托 了解更多: FLINK 官网升级指导 FLINK 1.15 release
-
修改弹性资源池的主机信息 - 数据湖探索 DLI
修改弹性资源池的主机信息 操作场景 主机信息用于配置主机的IP与域名的映射关系,在作业配置时只需使用配置的域名即可访问对应的主机。在跨源连接创建完成后,支持修改主机信息。 常见的访问MRS的HBase集群时需要配置实例的主机名(即域名)与主机对应的IP地址。 约束限制 已获取MRS主机信息。请参考怎样获取MRS主机信息
-
更新委托权限 - 数据湖探索 DLI
为了解决该问题,做到更细粒度的委托权限控制,DLI升级了系统委托,将原有的dli_admin_agency升级为dli_management_agency,新的委托包含获取IAM用户信息、跨源操作、消息通知所需的权限。有效避免DLI相关联服务权限不受控制的问题。升级后的DLI委托灵活性更强,更适合中大型企业场景化定制委托的需求。
-
更新管理 - 数据湖探索 DLI
son存在反序列化漏洞(CNVD-2022-40233)等,如发现服务模块涉及漏洞影响,会迅速通过官方解决方案升级现网更新漏洞。 更新配置 DLI云服务通过版本更新升级更新配置。 父主题: 安全
-
创建跨源成功但测试网络连通性失败怎么办? - 数据湖探索 DLI
Access权限 检查对端安全组是否放通队列的网段 检查增强型跨源连接对应的对等连接的路由信息 检查VPC网络是否设置了ACL规则限制了网络访问 检查是否在域名或者IP后添加了端口 测试连通性时需要添加端口号。 例如,测试队列与指定RDS实例连通性,本例RDS实例使用3306端口。 测试连通性如下所示。
-
跨源访问MRS HBase,连接超时,日志未打印错误 - 数据湖探索 DLI
主机名/域名”,多条信息之间以换行分隔。 MRS主机信息获取,详细请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 父主题: 跨源连接运维报错
-
资源相关 - 数据湖探索 DLI
file:用户文件 modelfile:用户AI模型文件 obs_jar_paths:对应资源包的OBS路径,参数构成为:{bucketName}.{obs域名}/{jarPath}/{jarName}。 例如:"https://bucketname.obs.cn-north-1.myhuaweicloud
-
有访问OBS对应的桶的权限,但是Spark作业访问时报错 verifyBucketExists on XXXX: status [403] - 数据湖探索 DLI
有访问OBS对应的桶的权限,但是Spark作业访问时报错 verifyBucketExists on XXXX: status [403] 请排查“全局配置 > 作业配置” 对应OBS桶是否被设置为了DLI日志桶,日志桶不能用于DLI的其他业务功能中。 父主题: 作业运维报错
-
测试地址联通性 - 数据湖探索 DLI
在“队列管理”页面,选择需要测试地址联通性的队列,单击“操作”列“更多”中的“测试地址连通性”。 在“测试地址联通性”页面填写需要测试的地址。支持域名和ip,可指定端口。 图1 测试地址联通性 单击“测试”。 如果测试地址可联通,页面上将提示地址可达。 如果测试地址不可联通,页面上将提示
-
DLI“包年/包月”和“按需计费”计费模式队列和“队列CU时套餐包”下线(EOL)公告 - 数据湖探索 DLI
列CU时套餐包”下线(EOL)公告 公告说明 为了更好的实现资源共享,提高计算资源利用率,DLI将“包年/包月”和“按需计费”计费模式队列升级为“弹性资源池队列”。即使用DLI计算资源需先购买弹性资源池,并在弹性资源池中创建队列。 DLI“包年/包月”和“按需计费”计费模式队列和
-
访问FlinkUI/SparkUI页面无法正常显示怎么办? - 数据湖探索 DLI
访问FlinkUI/SparkUI页面无法正常显示怎么办? 问题现象 访问FlinkUI/SparkUI页面无法正常显示,打开页面返回信息不全。 根因分析 根据分析发现队列为按需队列,队列运行作业的时候会重新创建集群,大概需要10分钟左右才能完成集群创建。在集群创建完成之前,访问
-
如何实现跨区域访问数据 - 数据湖探索 DLI
如何实现跨区域访问数据 打通不同区域间的VPC网络,具体请参考《跨区域同账号VPC互通》或《跨区域跨账号VPC互通》。 在DLI中创建增强型跨源链接,绑定队列。具体请参考《增强型跨源连接》。 添加DLI的路由。具体请参考《增强型跨源连接》。 父主题: 跨源分析问题
-
使用DLI进行电商BI报表分析 - 数据湖探索 DLI
数亿的忠实用户,积累了海量的真实数据。如何利用BI工具从历史数据中找出商机,是大数据应用在精准营销中的关键问题,也是所有电商平台在做智能化升级时所需要的核心技术。 本案例以某商城真实的用户、商品、评论数据(脱敏后)为基础,利用华为云数据湖探索、数据仓库服务以及永洪BI来分析用户和
-
Spark作业访问MySQL数据库的方案 - 数据湖探索 DLI
Spark作业访问MySQL数据库的方案 通过DLI Spark作业访问MySQL数据库中的数据有如下两种方案: 方案1:在DLI中创建队列,队列计费模式为包年/包月队列或按需专属,创建增强型跨源连接,再通过跨源表读取MySQL数据库中的数据,该方案需要用户自行编写java代码或scala代码。
-
创建Spark作业 - 数据湖探索 DLI
Spark作业编辑页面支持执行Spark作业,为用户提供全托管式的Spark计算服务。 在总览页面,单击Spark作业右上角的“创建作业”,或在Spark作业管理页面,单击右上角的“创建作业”,均可进入Spark作业编辑页面。 进入Spark作业编辑页面,页面会提示系统将创建DL
-
DLI委托概述 - 数据湖探索 DLI
场景需用户自定义委托。委托的详细说明请参考表1。 DLI为了满足细粒度的委托权限需求,升级了系统委托,将原有的dli_admin_agency升级为dli_management_agency,新的委托包含跨源操作、消息通知、用户授权操作所需的权限。更新委托权限。 使用Flink 1
-
创建增强型跨源连接 - 数据湖探索 DLI
xx.xx:8181。 检测跨源连接的连通性时对域名约束限制如下: 域名的限制长度为1到255的字符串,并且组成必须是字母、数字、下划线或者短横线。 域名的顶级域名至少包含两个及以上的字母,例如.com,.net,.cn等。 测试时域名后可选择添加端口,用":"隔开,端口最大限制为5位,端口范围:0~65535。
-
配置DLI 队列与公网网络联通 - 数据湖探索 DLI
本节操作为您提供DLI队列在公网访问场景下网络打通的方法。通过配置SNAT规则,添加到公网的路由信息,可以实现队列到和公网的网络打通。 操作流程 图1 配置DLI队列访问公网流程 步骤1:创建VPC 登录虚拟私有云控制台,创建虚拟私有云。创建的VPC供NAT访问公网使用。 创建VPC的具体操作请参考创建虚拟私有云。
-
Spark作业使用咨询 - 数据湖探索 DLI
查看Spark内置依赖包的版本请参考内置依赖包。 资源包管理中的包是否能够下载? 资源包仅提供托管服务,不提供下载功能。 如何使用API通过公网访问DLI? DLI域名公网访问请使用域名访问:dli.{regionid}.myhuaweicloud.com 数据湖探索的终端节点请参考终端节点。 数据湖探索API请参考:数据湖探索API。
-
认证 - 数据湖探索 DLI
方式进行认证即可。 (推荐)生成AK/SK 登录DLI管理控制台。 在页面右上角的用户名的下拉列表中选择“我的凭证”。 在“我的凭证”页面,默认显示“项目列表”,切换到“管理访问密钥”页面。 单击左侧“新增访问密钥”按钮,输入“登录密码”和“短息验证码”。 单击“确定”,下载证书。