检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置PowerBI通过Kyuubi连接DLI进行数据查询和分析 Power BI提供了数据集成、数据仓库、报告和数据可视化等功能，能够将复杂的数据转换为易于理解和交互的可视化图表和仪表板，从而帮助企业做出基于数据的决策。 Kyuubi是一个分布式SQL查询引擎，它允许用户通过标准的SQL接口来访问和分析数据。
查看表元数据 元数据说明 元数据（Metadata）是用来定义数据类型的数据。主要是描述数据自身信息，包含源、大小、格式或其它数据特征。数据库字段中，元数据用于诠释数据仓库的内容。 创建表时，会定义元数据，由列名、类型、列描述三列组成。 “元数据”页面将显示目标表的列名、列类型、类型和描述。
BI。 单击“数据连接 > 数据连接管理”。 单击“添加数据源”创建一个新的数据源。 在数据源的向导中选择数据库类型。本例选择“Hadoop Hive” 配置数据库连接信息： 数据连接名称：用户自定义数据连接名称。 驱动：选择2.a中的驱动。 数据库名称：DLI的数据库名称。 主机：安装Kyuubi主机IP地址。
配置Beeline通过Kyuubi连接DLI进行数据查询和分析 Beeline是数据分析师和数据工程师的重要工具之一，适用于大规模数据处理的场景。Beeline提供了的SQL引擎，使得用户可以使用SQL的语言来执行数据查询、数据分析和管理任务。 Kyuubi是一个分布式 SQL
同时根据读取的数据生成新的数据或对数据进行修改。 使用Hive和Datasource（除Hudi外）表在执行数据修改类命令（例如insert into，load data）时由于数据源不支持事务性，在系统故障或队列资源重启后，可能会导致数据重复或数据不一致等问题。 为了避免这种情
迁移数据场景概述 为了将分散在不同系统中的数据迁移到DLI，确保数据可以在DLI集中分析和管理，您可以通过云数据迁移服务CDM等迁移工具迁移数据至DLI，再使用DLI提交作业分析数据。 CDM支持数据库、数据仓库、文件等多种类型的数据源，通过可视化界面对数据源迁移任务进行配置，提高数据迁移和集成的效率。
配置Tableau通过Kyuubi连接DLI进行数据查询和分析 Tableau是一款数据分析和可视化工具，支持通过拖放式界面连接到各种数据源，创建交互式和共享式的数据可视化，从而将数据转化为可操作的见解。 Kyuubi是一个分布式 SQL 查询引擎，它提供了标准的SQL接口，使用
访问和分析存储在大数据平台中的数据。 通过将Superset与Kyuubi对接，用户可以利用Kyuubi访问DLI进行数据查询和分析。这种集成简化了数据访问流程，提供了数据的统一管理和分析能力，使得用户能够更深入地洞察数据。 本节操作介绍Superset基于Kyuubi连接DLI
复杂数据类型 Spark SQL支持复杂数据类型，如表1所示。 表1 复杂数据类型 数据类型 描述 使用格式 ARRAY 一组有序字段，使用指定的值构造ARRAY数组。可以为任意类型，要求所有字段的数据类型必须相同。 array(<value>,<value>[, ...]) 具体使用示例详见：ARRAY示例。
特定类型的数据，使得数据可以被有效地查询和分析。数据库是一个框架，表是其实质内容。一个数据库包含一个或者多个表。 · 元数据：元数据（Metadata）是用来定义数据类型的数据。主要是描述数据自身信息，包含源、大小、格式或其它数据特征。数据库字段中，元数据用于诠释数据仓库的内容。
CSV格式数据转换为Parquet格式数据。 方案架构 将CSV格式的数据上传到对象存储服务OBS，使用DLI将CSV数据转换为Parquet数据，并将转换后的Parquet数据存储到OBS中。 图1 方案简介 流程指导 使用DLI将CSV数据转换为Parquet数据主要包括以下步骤：
PERMISSIVE：选择PERMISSIVE模式时，如果某一列数据类型与目标表列数据类型不匹配，则该行数据将被设置为null。 DROPMALFORMED：选择DROPMALFORMED模式时，如果某一列数据类型与目标表列数据类型不匹配，则不导入该行数据。 FAILFAST：选择FAILFAST模
前提条件 待导入的数据已存储到OBS上。 导入数据步骤 导入数据的入口有两个，分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面导入数据。 在管理控制台的左侧，选择“数据管理”>“库表管理”。 单击需导入数据的表对应的数据库名称，进入该数据库的“表管理”页面。 在
配置DLI访问其他云服务的委托权限 DLI委托概述 创建DLI自定义委托权限 常见场景的委托权限策略 典型场景DLI委托权限配置示例
数据权限相关 数据权限列表 创建角色 删除角色 绑定角色 解绑角色 显示角色 分配权限 回收权限 显示已授权限 显示所有角色和用户的绑定关系
清理多版本数据 功能描述 多版本数据保留周期是在表每次执行insert overwrite或者truncate语句时触发，所以当表的多版本数据在保留周期时间外但是后续该表不会再执行insert overwrite或者truncate语句时，多版本保留周期外的数据不会自动清理。可以
车企数字化服务转型 大数据ETL处理 运营商大数据分析 运营商数据体量在PB~EB级，其数据种类多，有结构化的基站信息数据，非结构化的消息通信数据，同时对数据的时效性有很高的要求，DLI服务提供批处理、流处理等多模引擎，打破数据孤岛进行统一的数据分析。 优势 大数据ETL：具备TB~
"DDL", "job_mode": "async" } 如果通过异步方式删除数据库，可以通过查询作业状态接口查看当前作业的状态，详细介绍参见查询作业状态。 如果强制删除数据库cascade=true，则会级联删除该数据库下面的所有表，需要谨慎使用。 状态码 状态码如表4所示。 表4
据计算分析引擎等数据底座，帮助企业快速构建从数据接入到数据分析的端到端智能数据系统，消除数据孤岛，统一数据标准，加快数据变现，实现数字化转型。 在DataArts Studio管理中心控制台创建数据连接即可访问DLI，进行数据分析。关于DataArts Studio的操作指导请参考《数据治理中心产品文档》。
数据保护技术 数据存储安全 为了确保您的个人敏感数据（例如用户名、密码、手机号码等）不被未经过认证、授权的实体或者个人获取，DLI对用户数据的存储和传输进行加密保护，以防止个人数据泄露，保证您的个人数据安全。 数据销毁机制 用户删除DLI队列后，存储在集群上的用户个人敏感数据会随之删除。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
