检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可轻松将CSV格式数据转换为Parquet格式数据。 方案架构 将CSV格式的数据上传到对象存储服务OBS，使用DLI将CSV数据转换为Parquet数据，并将转换后的Parquet数据存储到OBS中。 图1 方案简介 流程指导 使用DLI将CSV数据转换为Parquet数据主要包括以下步骤：
将日期字面量转换成日期类型的变量 select date('2020-07-25');-- 2020-07-25 from_iso8601_timestamp(string) → timestamp with time zone 将ISO 8601格式的时戳字面量转换成带时区的时戳变量
添加EXTENDED关键字会将表的所有元数据信息以“Thrift”序列化的格式显示出来。 添加FORMATTED关键字会将表的元数据信息以表格的形式展示。 示例 显示fruit数据表的列信息： DESCRIBE fruit; 显示fruit 元数据信息： DESCRIBE FORMATTED
dis_adm：访问和使用DIS数据源，需要获得访问和使用DIS（数据接入服务）DIS Administrator权限。 ctable_adm：访问和使用CloudTable（表格存储服务）的CloudTable Administrator权限。 vpc_netadm：使用VPC（虚拟私有云）的VPC Administrator权限。
数据类型隐式转换 简介 隐式转换对照表
储为STRING类型。 DATE DATE类型只能和DATE、TIMESTAMP和STRING进行显式转换（cast），具体如表2所示。 表2 cast函数转换 显式转换 转换结果 cast(date as date) 相同DATE值。 cast(timestamp as date)
Message Notification）可以在DLI发生作业运行异常时给用户发送通知。 具体操作请参考《创建消息通知主题》。 与表格存储服务（CloudTable）的关系 表格存储服务（CloudTable Service）作为DLI的数据来源及数据存储，与DLI配合一起使用，关系有如下两种。
compress=SNAPPY 来允许spappy压缩。 数据类型映射 Orc 格式类型的映射和 Apache Hive 是兼容的。下面的表格列出了 Flink 类型的数据和 Orc 类型的数据的映射关系。 表2 数据类型映射 Flink数据类型 Orc物理类型 Orc逻辑类型 CHAR
删除视图 功能描述 删除视图。 语法格式 1 DROP VIEW [IF EXISTS] [db_name.]view_name; 关键字 DROP：删除指定视图的元数据。虽然视图和表有很多共同之处，但是DROP TABLE不能用来删除VIEW。 注意事项 所要删除的视图必须是已经存在的，否则会出错，可以通过IF
Spark SQL语法概览 本章节介绍了目前DLI所提供的Spark SQL语法列表。参数说明，示例等详细信息请参考具体的语法说明。 表1 批作业SQL语法 语法分类 操作链接 数据库相关语法 创建数据库 删除数据库 查看指定数据库 查看所有数据库 创建OBS表相关语法 使用DataSource语法创建OBS表
ngine中用tdigest表示这种数据结构。T-digest可以合并，在存储时可以强转为VARBINARY，检索时再由VARBINARY转换为T-digest 函数 merge(tdigest)→tdigest 描述：将所有输入的tdigest数据合并成一个tdigest。 v
变更普通队列规格 前提条件 新创建的包年包月计费队列需要运行作业后才可进行规格变更。 本节操作仅适用于普通队列，不适用于弹性资源池队列。 注意事项 目前只支持64CUs以上规格包年包月队列进行规格变更。 如果在“规格变更”页面提示“Status of queue xxx is assigning
MySQL CDC源表 功能描述 MySQL的CDC源表，即MySQL的流式源表，会先读取数据库的历史全量数据，并平滑切换到Binlog读取上，保证数据的完整读取。 前提条件 MySQL CDC要求MySQL版本为5.7或8.0.x。 该场景作业需要DLI与MySQL建立增强型跨
配置PowerBI通过Kyuubi连接DLI进行数据查询和分析 Power BI提供了数据集成、数据仓库、报告和数据可视化等功能，能够将复杂的数据转换为易于理解和交互的可视化图表和仪表板，从而帮助企业做出基于数据的决策。 Kyuubi是一个分布式SQL查询引擎，它允许用户通过标准的SQL接口来访问和分析数据。
在“包周期CU变更”页面，“变更方式”选择“扩容”，变更数量选择要扩容的CU数量。 图1 规格变更扩容 确定费用后，单击“提交”。 扩容任务提交后，可以选择“作业管理 > SQL作业”，查看“SCALE_POOL”类型SQL作业的状态。 如果作业状态为“规格变更中”，表示弹性资源池规
包括位置应用、金融保险、互联网电商等。 数据仓库服务（Data Warehouse Service，简称DWS）是一种基于基础架构和平台的在线数据处理数据库，为用户提供海量数据挖掘和分析服务。DWS的更多信息，请参见《数据仓库服务管理指南》。 前提条件 请务必确保您的账户下已在数
KEYS：映射键是一种键值对的数据结构，用于存储一组相关联的数据，表中Map键以'#'分隔。 LINES：表格中的行，每一行包含一组字段值，表中行以'\n'结束（注意，只支持用'\n'作为行分隔符）。 NULL：表示缺少值或未知值的特殊值。在表格中，NULL表示该字段没有值或该值未知。如果数据中存在null值，则用字符串“null”表示。
DOUBLE或DECIMAL类型。 排在第nth位的值，当不存在隐式转换时返回值同输入参数数据类型。 当有类型转换时，DOUBLE、BIGINT、STRING之间的转换返回DOUBLE类型；STRING、DATETIME之间的转换返回DATETIME类型。不允许其他的隐式转换。 NULL为最小值。 示例代码 返回2。
from_unixtime函数用于计算将数字型的UNIX值代表的时间戳转换为日期值。 命令格式 from_unixtime(bigint unixtime) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 unixtime 是 BIGINT UNIX格式的时间戳。代表需要转换的时间戳 此处参数应填正常UNIX格式时间戳前十位。
所查询的表必须是已经存在的表，否则提示查询错误。 在DLI管理控制台提交SQL语句读取binary类型的数据进行展示时，会对binary数据进行Base64转换。 示例 将表student中，name为Mike的数据记录查询出来，并根据字段score升序排序。 1 2 3 SELECT * FROM
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
