检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置DBeaver连接DLI进行数据查询和分析 DBeaver 是一个免费且开源的数据库管理工具，支持多种数据库，通过DBeaver这款可视化数据库管理工具可以查看数据库结构、执行SQL查询和脚本、浏览和导出数据等。本节操作介绍DBeaver连接DLI服务的操作步骤。 操作前准备
SaaS生产环境主页，单击左侧导航栏中的“创建数据集”。 图2 创建数据集 在“数据集类型”页面中，选择创建“SQL数据集”，请参见图3。 图3 创建SQL数据集 在“创建数据集”页面中，左侧“数据源”栏选择已添加的DLI数据源，请参见图4。 图4 选择数据源 左侧“表”栏中单击右键，刷新表，将列出所有数据库及数据库
Flink作业所需的AKSK存储在数据加密服务DEW中，如需允许DLI在执行作业时访问DEW数据，需要新建委托将DEW数据操作权限委托给DLI，允许DLI服务以您的身份访问DEW服务。 允许DLI在执行作业时访问DLI Catalog元数据，需要新建委托将DLI Catelog数据操作权限委托给D
典型场景DLI委托权限配置示例 表1 DLI委托权限配置场景开发指南 类型 操作指导 说明 Flink作业场景 Flink Opensource SQL使用DEW管理访问凭据 Flink Opensource SQL场景使用DEW管理和访问凭据的操作指导，将Flink作业的输出数据写入到My
迁移数据场景概述 为了将分散在不同系统中的数据迁移到DLI，确保数据可以在DLI集中分析和管理，您可以通过云数据迁移服务CDM等迁移工具迁移数据至DLI，再使用DLI提交作业分析数据。 CDM支持数据库、数据仓库、文件等多种类型的数据源，通过可视化界面对数据源迁移任务进行配置，提高数据迁移和集成的效率。
清理多版本数据 功能描述 多版本数据保留周期是在表每次执行insert overwrite或者truncate语句时触发，所以当表的多版本数据在保留周期时间外但是后续该表不会再执行insert overwrite或者truncate语句时，多版本保留周期外的数据不会自动清理。可以
前提条件 待导入的数据已存储到OBS上。 导入数据步骤 导入数据的入口有两个，分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面导入数据。 在管理控制台的左侧，选择“数据管理”>“库表管理”。 单击需导入数据的表对应的数据库名称，进入该数据库的“表管理”页面。 在
和DDS数据源的密码信息存储到DLI，无需在SQL作业中配置账号密码，安全访问DWS、RDS、DDS、DCS数据源。 Password类型跨源认证支持连接的数据源 Password类型跨源认证支持连接的数据源如表1所示。 表1 Password类型跨源认证支持连接的数据源 作业类型
原生数据类型 DLI支持原生数据类型，请参见表1。 表1 原生数据类型 数据类型 描述 存储空间 范围 OBS表支持情况 DLI表支持情况 INT 有符号整数 4字节 -2147483648～2147483647 是 是 STRING 字符串 - - 是 是 FLOAT 单精度浮点型
配置DLI作业桶 使用DLI服务前需配置DLI作业桶，该桶用于存储DLI作业运行过程中产生的临时数据，例如：作业日志、作业结果。 本节操作指导您在DLI管理控制台的“全局配置 > 工程配置”页面配置DLI作业桶。 如果您的SQL队列已开启作业结果保存至DLI作业桶，请务必在提交S
是否同步hudi表信息到Hive。当使用DLI提供的元数据服务时，配置该参数代表同步至DLI的元数据中。 注意： 建议该值设置为true，统一使用元数据服务管理hudi表。 false hoodie.datasource.hive_sync.database 要同步给hive的数据库名。 default hoodie
println("delete db " + dbName); } 含表的数据库不能直接删除，请先删除数据库的表再删除数据库。 数据库删除后，将不可恢复，请谨慎操作。 查询所有数据库 DLI提供查询数据库列表接口，您可以使用该接口查询当前已创建的数据库列表。示例代码如下： 1 2 3 4 5 6 7
-version，可以检查版本信息。 操作步骤 安装JDK。从Oracle官网下载并安装JDK1.8版本安装包。 配置环境变量，在“控制面板”选择“系统”属性，单击“环境变量”。 选择“系统变量”，新建 “JAVA_HOME 变量”，路径配置为JDK安装路径，例如：“D:\Java\jdk1
uth_name关联跨源认证。 Kerberos类型跨源认证支持连接的数据源 Kerberos类型跨源认证支持连接的数据源如表1所示。 表1 Kerberos类型跨源认证支持连接的数据源 作业类型 表类型 数据源 约束与限制 Flink OpenSource SQL 源表 HBase
操作步骤 从Python官网下载并安装Python版本。 根据Python官方指导安装Python版本。 检验是否配置成功，运行cmd ，输入 python。运行结果，请参见图1，显示版本信息，则说明安装和配置成功。 图1 检验配置是否成功 python安装应用包时出现错误类似错误“error:
数据迁移与数据传输 数据迁移与传输方式概述 迁移外部数据源数据至DLI 配置DLI读写外部数据源数据
SQL/Flink SQL，支持多种接入方式，并兼容主流数据格式。数据无需复杂的抽取、转换、加载，使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。 产品介绍 图说DLI 立即使用 成长地图 由浅入深，带您玩转DLI
Delta常见配置参数 提交DLI Spark SQL作业时，在“SQL编辑器”界面右上角的“设置 > 参数设置”中配置Delta参数。 表1 Delta常见配置项 参数 描述 默认值 spark.databricks.delta.retentionDurationCheck.enabled
使用CDM迁移数据至DLI CDM提供了可视化的迁移任务配置页面，支持多种数据源到数据湖的迁移能力。 本节操作介绍使用CDM迁移工具将数据从数据源迁移至DLI的操作步骤。 图1 使用CDM迁移数据至DLI操作流程 步骤1：创建CDM集群 CDM集群用于执行数据迁移作业，将数据从数据源迁移至DLI。
清空数据 功能描述 清除DLI表或者OBS表的数据。 语法格式 1 TRUNCATE TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]; 关键字 表1 关键字说明 参数 描述 tablename 需要执
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
