检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
projectItem ]* } FROM tableExpression [ WHERE booleanExpression ] 语法说明 利用WHERE子句过滤查询结果。 注意事项 所查询的表必须是已经存在的,否则会出错。 WHERE条件过滤,将不满足条件的记录过滤掉,返回满足要求的记录。
projectItem ]* } FROM tableExpression [ WHERE booleanExpression ] 语法说明 利用WHERE子句过滤查询结果。 注意事项 所查询的表必须是已经存在的,否则会出错。 WHERE条件过滤,将不满足条件的记录过滤掉,返回满足要求的记录。
错。 同单列分组,GROUP BY中出现的字段必须包含在attr_expr_list的字段中,表达式支持内置函数,自定义函数等。 示例 先利用substr函数取字段name的子字符串,并按照该子字符串进行分组,返回每个子字符串及对应的记录数。 1 2 SELECT substr(name
时,用户可以通过Jar作业来实现自定义的Connector或数据处理逻辑。 适合需要实现UDF(用户定义函数)或特定库集成的场景,用户可以利用Flink的生态系统来实现高级的流处理逻辑和状态管理。 创建Flink Jar作业请参考创建Flink Jar作业。 父主题: 使用DLI提交Flink作业
删除分区 功能描述 本节操作介绍删除分区表的一个或多个分区。 分区表分为两种,OBS表和DLI表。在删除分区时,DLI表和OBS表都支持利用指定条件删除分区表的一个或多个分区。OBS表还支持按指定筛选条件删除分区。 注意事项 所要删除分区的表必须是已经存在的表,否则会出错。 所要
删除分区 功能描述 本节操作介绍删除分区表的一个或多个分区。 分区表分为两种,OBS表和DLI表。在删除分区时,DLI表和OBS表都支持利用指定条件删除分区表的一个或多个分区。OBS表还支持按指定筛选条件删除分区。 注意事项 所要删除分区的表必须是已经存在的表,否则会出错。 所要
使用DLI增强型跨源时,弹性资源池/队列的网段与数据源网段不能重合。 访问跨源表需要使用已经创建跨源连接的队列。 跨源表不支持Preview预览功能。 检测跨源连接的连通性时对IP约束限制如下: IP必须为合法的IP地址,用“.”分隔的4个十进制数,范围是0-255。 测试时IP地址后可选择添
该场景下就需要使用REFRESH TABLE来解决该问题。REFRESH TABLE是用于重新整理某个分区的文件,重用之前的表元数据信息,能够检测到表的字段的增加或者减少,主要用于表中元数据未修改,表的数据修改的场景。 语法格式 1 REFRESH TABLE [db_name.]table_name;
该场景下就需要使用REFRESH TABLE来解决该问题。REFRESH TABLE是用于重新整理某个分区的文件,重用之前的表元数据信息,能够检测到表的字段的增加或者减少,主要用于表中元数据未修改,表的数据修改的场景。 语法格式 1 REFRESH TABLE [db_name.]table_name;
接。 DLI Livy工具下载及安装 本次操作下载的DLI Livy版本为apache-livy-0.7.2.0107-bin.tar.gz,后续版本变化请根据实际情况修改。 单击下载链接,获取DLI Livy工具压缩包。 使用WinSCP工具,将获取的工具压缩包上传到准备好的ECS服务器目录下。
非弹性资源池模式的队列是DLI的上一代计算资源管理方式,按使用需求购买和释放资源,需要预先估计资源使用需求再进行购买。 优先推荐使用弹性资源池队列,提高资源使用的灵活性和资源利用效率。购买弹性资源池并在弹性资源池中添加队列请参考创建弹性资源池并添加队列。 用户首次使用子账号创建队列时,需要先使用主账号登录控制台,在
初始化DLI客户端 使用DLI Python SDK工具访问DLI,需要用户初始化DLI客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)或Token两种认证方式初始化客户端,示例代码如下。完整样例代码和依赖包说明请参考:Python
DLI SDK简介 DLI SDK简介 数据湖探索服务软件开发工具包(DLI SDK,Data Lake Insight Software Development Kit)是对DLI服务提供的REST API进行的作业提交的封装,以简化用户的开发工作。用户直接调用DLI SDK提供的接口函数即可实现使用提交DLI
初始化DLI客户端 使用DLI SDK工具访问DLI,需要用户初始化DLI客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)或Token两种认证方式初始化客户端,示例代码如下: 前提条件 已参考Java SDK概述配置Java SDK环境。
Spark作业不支持访问sftp,建议将文件数据上传到OBS,再通过Spark作业进行读取和分析。 上传数据到OBS桶:通过OBS管理控制台或者使用命令行工具将存储在sftp中的文件数据上传到OBS桶中。 Spark读取OBS文件数据,详见使用Spark Jar作业读取和查询OBS数据。 配置S
实现相应的处理逻辑,以实现各个指标的统计。 为了简化最终的处理逻辑,使用创建视图进行数据预处理。 利用over窗口条件和过滤条件结合以去除重复数据(该方式是利用了top N的方法),同时利用相应的内置函数concat和substr将当天的00:00:00作为统计的开始时间,当天的23
使用CDM迁移数据至DLI CDM提供了可视化的迁移任务配置页面,支持多种数据源到数据湖的迁移能力。 本节操作介绍使用CDM迁移工具将数据从数据源迁移至DLI的操作步骤。 图1 使用CDM迁移数据至DLI操作流程 步骤1:创建CDM集群 CDM集群用于执行数据迁移作业,将数据从数据源迁移至DLI。
projectItem ]* } FROM tableExpression [ WHERE booleanExpression ] 语法说明 利用WHERE子句过滤查询结果。 注意事项 所查询的表必须是已经存在的,否则会出错。 WHERE条件过滤,将不满足条件的记录过滤掉,返回满足要求的记录。
projectItem ]* } FROM tableExpression [ WHERE booleanExpression ] 语法说明 利用WHERE子句过滤查询结果。 注意事项 所查询的表必须是已经存在的,否则会出错。 WHERE条件过滤,将不满足条件的记录过滤掉,返回满足要求的记录。
projectItem ]* } FROM tableExpression [ WHERE booleanExpression ] 语法说明 利用WHERE子句过滤查询结果。 注意事项 所查询的表必须是已经存在的,否则会出错。 WHERE条件过滤,将不满足条件的记录过滤掉,返回满足要求的记录。