检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DLI提交SQL作业查询OBS数据 场景描述 DLI可以查询存储在OBS中的数据，本节操作介绍使用DLI提交SQL作业查询OBS数据的操作步骤。
将数据上传到对象存储服务OBS，为后面使用DLI完成数据分析做准备。
怎样查看DLI的数据扫描量？ 登录DLI管理控制台。 选择“作业管理 > SQL作业”。 筛选执行队列为default队列，查看相应的作业。 单击展开作业，查看已扫描的数据。如图1所示。 图1 查看作业扫描量 父主题： 计费相关问题
创建并使用LakeFormation元数据 DLI对接LakeFormation LakeFormation资源权限支持列表与策略项 父主题： 创建数据库和表
从Kafka读取数据写入到DWS 本指导仅适用于Flink 1.12版本。 场景描述 该场景为对汽车驾驶的实时数据信息进行分析，将满足特定条件的数据结果进行汇总。汽车驾驶的实时数据信息为数据源发送到Kafka中，再将Kafka数据的分析结果输出到DWS中。
导入数据（load data）作业（作业类型：IMPORT），包括以下信息：队列，作业ID，用户名，类型，状态，执行语句，运行时长，创建时间，结束时间，参数设置，标签，结果条数，已扫描数据，扫描数据条数，错误记录条数，存储路径，数据格式，数据库，表，表头，分隔符，引用字符，转义字符
概述 数据类型是数据的一个基本属性，用于区分不同类型的数据。不同的数据类型所占的存储空间不同，能够进行的操作也不相同。数据库中的数据存储在表中。表中的每一列都定义了数据类型，用户存储数据时，须遵从这些数据类型的属性，否则可能会出错。 DLI当前只支持原生数据类型。
从DLI导入数据到OBS，数据量不一致怎么办？
创建数据库和表 了解数据目录、数据库和表 在DLI控制台创建数据库和表 查看表元数据 在DLI控制台管理数据库资源 在DLI控制台管理表资源 创建并使用LakeFormation元数据
在数据库实例界面，单击“新建数据库”，数据库名定义为：testrdsdb，字符集保持默认即可。 在已创建的数据库的操作列，单击“SQL查询”，输入以下创建表语句，创建RDS MySQL表。
典型场景示例：迁移RDS数据至DLI 本文为您介绍如何通过CDM数据同步功能，迁移关系型数据库RDS数据至DLI。其他关系型数据库数据都可以通过CDM与DLI进行双向同步。 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。
使用BI工具连接DLI分析数据 BI工具连接DLI方案概述 配置DBeaver连接DLI进行数据查询和分析 配置DBT连接DLI进行数据调度和分析 配置YongHong BI连接DLI进行数据查询和分析 配置Superset连接DLI进行数据查询和分析 配置PowerBI通过Kyuubi
在DLI控制台预览表数据 “预览页面”将显示对应表的前10条数据。 预览数据步骤 预览数据的入口有两个，分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面预览数据。 在管理控制台左侧，单击“数据管理”>“库表管理”。
压缩格式 导出数据的压缩方式，选择如下压缩方式。 none bzip2 deflate gzip 存储路径 输入或选择OBS路径。 导出路径必须为OBS桶中不存在的文件夹，即用户需在OBS目标路径后创建一个新文件夹。 文件夹名称不能包含下列特殊字符：\ / : * ?
Java SDK Java SDK概述 Java SDK环境配置 OBS授权 队列相关 资源相关 SQL作业相关 Flink作业相关 Spark作业相关 Flink作业模板相关
Flink Opensource SQL从RDS数据库读取的时间和RDS数据库存储的时间为什么会不一致？
Hudi数据表管理操作规范 Hudi数据表Compaction规范 Hudi数据表Clean规范 Hudi数据表Archive规范 父主题： DLI Hudi开发规范
Hudi数据表设计规范 Hudi表模型设计规范 Hudi表索引设计规范 Hudi表分区设计规范 父主题： DLI Hudi开发规范
如果是迁移已有的Hive数据库和表数据，则可以通过以下命令获取Hive的数据库和表信息。
配置Hudi数据列默认值 该特性允许用户在给表新增列时，设置列的默认值。查询历史数据时新增列返回默认值。 使用约束 新增列在设置默认值前，如果数据已经进行了重写，则查询历史数据不支持返回列的默认值，返回NULL。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
