-
审计与日志 - 数据湖探索 DLI
LI操作列表说明。用户开通云审计服务并创建和配置追踪器后,CTS开始记录操作事件用于审计。关于如何开通云审计服务以及如何查看追踪事件,请参考《云审计服务快速入门》中的相关章节。 CTS支持配置关键操作通知。用户可将与IAM相关的高危敏感操作,作为关键操作加入到CTS的实时监控列表
-
更新管理 - 数据湖探索 DLI
DLI云服务通过华为云安全公告密切跟踪漏洞,如Apache Log4j2 远程代码执行漏洞(CVE-2021-44228)、Fastjson存在反序列化漏洞(CNVD-2022-40233)等,如发现服务模块涉及漏洞影响,会迅速通过官方解决方案升级现网更新漏洞。 更新配置 DLI云服务通过版本更新升级更新配置。
-
重启/扩容/缩容队列 - 数据湖探索 DLI
是否强制重启,“action”为“restart”时可选择配置,默认为“false”。 cu_count 否 Integer 扩容或者缩容的cu数。“action”为“scale_out”或者“scale_in”时可选择配置。“cu_count”必须是16的倍数。 响应消息 表3 响应参数
-
Spark作业访问OBS数据时报ResponseCode: 403和ResponseStatus: Forbidden错误 - 数据湖探索 DLI
ResponseCode: 403, ResponseStatus: Forbidden 解决方案 Spark程序访问OBS数据时,需要通过配置AK、SK的访问进行访问。具体访问方式可以参考:通用队列操作OBS表如何设置AK/SK。 父主题: 作业运维报错
-
Java SDK概述 - 数据湖探索 DLI
让您无需关心请求细节即可快速使用数据湖探索服务。本节操作介绍如何获取并使用Java SDK 。 使用须知 要使用DLI Java SDK 访问指定服务的 API ,您需要确认已在DLI控制台开通当前服务并完成服务授权。 Java SDK 支持 Java JDK 1.8 及其以上版本。关于Java开发环境的配置请参考Java
-
Python SDK概述 - 数据湖探索 DLI
SDK让您无需关心请求细节即可快速使用数据湖探索服务。本节操作介绍如何在Python环境获取并使用SDK。 使用须知 要使用DLI Python SDK访问指定服务的 API ,您需要确认已在DLI管理控制台开通当前服务并完成服务授权。 Python版本建议使用2.7.10和3.4.0以上版本,需要配置Visual
-
构造请求 - 数据湖探索 DLI
表示用于传输请求的协议,当前所有API均采用HTTPS协议。 Endpoint 指定承载REST服务端点的服务器域名或IP。 不同服务不同区域的Endpoint不同,您可以从地区和终端节点中查询所有服务的终端节点。 例如IAM服务在“华北-北京四”区域的Endpoint为“iam.cn-north-4.myhuaweicloud
-
应用场景 - 数据湖探索 DLI
50%以上。 建议搭配以下服务使用 OBS,DIS,DWS,RDS 图1 游戏运营数据分析 异构数据源联邦分析 车企数字化服务转型 面临市场新的竞争压力及出行服务不断变革,车企通过构建车联云平台和车机OS,将互联网应用与用车场景打通,完成车企数字化服务转型,从而为车主提供更好的智
-
Flink Opensource SQL从RDS数据库读取的时间和RDS数据库存储的时间为什么会不一致? - 数据湖探索 DLI
数据库时区。 这里它指向 'SYSTEM',也就是数据库服务器的系统时间('system_time_zone')。而这个系统时间在这里指向 CST,所以,最终数据库时区才是 CST。 time_zone 数据库所在服务器的时区,服务器是台主机。 如本地数据库所在计算机的默认时区是中国标准时间,则查出来
-
查询所有数据库(废弃) - 数据湖探索 DLI
String 企业项目ID,“0”表示default,即默认的企业项目。关于如何设置企业项目请参考《企业管理用户指南》。 说明: 开通了企业管理服务的用户可设置该参数绑定指定的项目。 resource_id 是 String 资源ID。 请求示例 无 响应示例 { "is_success":
-
DLI SDK功能矩阵 - 数据湖探索 DLI
DLI SDK功能矩阵 SDK开发指南指导您如何安装和配置开发环境、如何通过调用DLI SDK提供的接口函数进行二次开发。 Java、Python SDK功能矩阵请参见表1 表1 SDK功能矩阵 语言 功能 内容 Java OBS授权 介绍将OBS桶的操作权限授权给DLI的Java
-
怎样升级DLI作业的引擎版本 - 数据湖探索 DLI
交互式分析的Serverless融合处理分析服务,当前,Flink计算引擎推荐版本:Flink 1.15,Spark计算引擎推荐版本: Spark 3.3.1。 本节操作介绍如何升级作业的引擎版本。 SQL作业: SQL作业不支持配置引擎版本,需要您重新新建队列执行SQL作业,新
-
跨源认证概述 - 数据湖探索 DLI
跨源分析场景中,如果在作业中直接配置认证信息会触发密码泄露的风险,因此推荐您使用“数据加密服务DEW”或“DLI提供的跨源认证方式”来存储数据源的认证信息。 数据加密服务(Data Encryption Workshop, DEW)是一个综合的云上数据加密服务,为您解决数据安全、密钥安
-
JDBC源表 - 数据湖探索 DLI
String 指定要使用的连接器,当前固定为'jdbc'。 url 是 无 String 数据库的URL。 table-name 是 无 String 读取数据库中的数据所在的表名。 driver 否 无 String 连接数据库所需要的驱动。若未配置,则会自动通过URL提取。 username
-
JDBC源表 - 数据湖探索 DLI
String 指定要使用的连接器,当前固定为'jdbc'。 url 是 无 String 数据库的URL。 table-name 是 无 String 读取数据库中的数据所在的表名。 driver 否 无 String 连接数据库所需要的驱动。若未配置,则会自动通过URL提取。 username
-
通用队列操作OBS表如何设置AK/SK - 数据湖探索 DLI
通用队列操作OBS表如何设置AK/SK (推荐)方案1:使用临时AK/SK 建议使用临时AK/SK,获取方式可参见统一身份认证服务_获取临时AK/SK。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 表1 DLI获取访问凭据相关开发指南 类型
-
更新委托权限 - 数据湖探索 DLI
OBS(对象存储服务)的Tenant Administrator权限。 DLI Flink作业所需的AKSK存储在数据加密服务DEW中,如需允许DLI在执行作业时访问DEW数据,需要新建委托将DEW数据操作权限委托给DLI,允许DLI服务以您的身份访问DEW服务。 允许DLI在执行作业时访问DLI
-
使用SDK相关问题 - 数据湖探索 DLI
使用SDK相关问题 使用SDK查询SQL作业结果,如何设置超时时间? 服务器:请求dli.xxx,unable to resolve host address, 如何解决?
-
DLI增强型跨源连接为什么要创建对等连接 - 数据湖探索 DLI
创建DLI增强型跨源连接时,创建对等连接的目的是打通网络。以MRS为例,如果DLI和MRS集群在同一个VPC中,安全组且放通的情况下,可以不用配置对等连接 父主题: 跨源连接问题
-
迁移DWS数据至DLI - 数据湖探索 DLI
数据源为云上的DWS、MRS等服务时,网络互通需满足如下条件: i. CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 ii. CDM集群与云上服务同区域情况下,同虚