检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FileSystem源表 功能描述 文件系统连接器可用于将单个文件或整个目录的数据读取到单个表中。 当使用目录作为source路径时,对目录中的文件进行 无序的读取。更多信息参考文件系统 SQL 连接器 语法格式 1 2 3 4 5 6 7 8 9 10 11 CREATE
操作前准备 配置前,请先购买OBS桶或并行文件系统。 大数据场景推荐使用并行文件系统,并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,以及TB/s级别
TEMPORARY:所删除的函数是否为临时函数。 IF EXISTS:所删除的函数不存在时使用,可避免系统报错。 注意事项 删除一个已存在的函数。如果要删除的函数不存在,则系统报错。 只支持HIVE语法。 示例 删除函数mergeBill。 1 DROP FUNCTION mergeBill;
迁移Elasticsearch数据至DLI 本文为您介绍如何通过CDM数据同步功能,迁移Elasticsearch类型的CSS集群数据至DLI。其他自建的Elasticsearch等服务数据,均可以通过CDM与DLI进行双向同步。 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。
典型场景示例:迁移Elasticsearch数据至DLI 本文为您介绍如何通过CDM数据同步功能,迁移Elasticsearch类型的CSS集群数据至DLI。其他自建的Elasticsearch等服务数据,均可以通过CDM与DLI进行双向同步。 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。
要区别在于支持的表数据存储格式范围、支持的分区数等有差异,详细请参考语法格式和注意事项说明。 推荐使用OBS并行文件系统进行存储。并行文件系统是一种高性能文件系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,适用于大数据交互式分析场景。 注意事项 创建表时会统计大小。
n e) { e.printStackTrace(); } } } Cluster为用户自建的队列。 传参不能为JSON格式。 对应批处理作业提交提供两个接口: 异步 asyncSubmit,提交后直接返回,不等待 同步 submit,提交后会一直等待作业执行结束
TEMPORARY:所删除的函数是否为临时函数。 IF EXISTS:所删除的函数不存在时使用,可避免系统报错。 注意事项 删除一个已存在的函数。如果要删除的函数不存在,则系统报错。 只支持HIVE语法。 示例 删除函数mergeBill。 1 DROP FUNCTION mergeBill;
要区别在于支持的表数据存储格式范围、支持的分区数等有差异,详细请参考语法格式和注意事项说明。 推荐使用OBS并行文件系统进行存储。并行文件系统是一种高性能文件系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,适用于大数据交互式分析场景。 注意事项 创建表时不会统计大小。
FileSytem结果表 功能描述 FileSystem结果表用于将数据输出到分布式文件系统HDFS或者对象存储服务OBS等文件系统。数据生成后,可直接对生成的目录创建非DLI表,通过DLI SQL进行下一步处理分析,并且输出数据目录支持分区表结构。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。
要区别在于支持的表数据存储格式范围、支持的分区数等有差异,详细请参考语法格式和注意事项说明。 推荐使用OBS并行文件系统进行存储。并行文件系统是一种高性能文件系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,适用于大数据交互式分析场景。 注意事项 创建表时不会统计大小。
要区别在于支持的表数据存储格式范围、支持的分区数等有差异,详细请参考语法格式和注意事项说明。 推荐使用OBS并行文件系统进行存储。并行文件系统是一种高性能文件系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,适用于大数据交互式分析场景。 注意事项 创建表时会统计大小。
FileSytem结果表 功能描述 FileSystem结果表用于将数据输出到分布式文件系统HDFS或者对象存储服务OBS等文件系统。数据生成后,可直接对生成的目录创建非DLI表,通过DLI SQL进行下一步处理分析,并且输出数据目录支持分区表结构。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。
位评测系统的整体商业计算综合能力,对厂商的要求更高,同时也具有普遍的商业实用意义,目前在银行信贷分析和信用卡分析、电信运营分析、税收分析、烟草行业决策分析中都有广泛的应用。 TPC-H 基准测试是由 TPC-D(由 TPC 组织于 1994 年指定的标准,用于决策支持系统方面的测
路由即路由规则,在路由中通过配置目的地址、下一跳类型、下一跳地址等信息,来决定网络流量的走向。路由分为系统路由和自定义路由。 增强型跨源连接创建后,子网会自动关联系统默认路由。除了系统默认路由,您可以根据需要添加自定义路由规则,将指向目的地址的流量转发到指定的下一跳地址。 了解更多路由相关信息请参考路由表。
le结果表是系统内置的Connector。 例如,如果您在注册其他类型的Connector结果表时报错,但您不确定是系统问题还是结果表WITH参数错误,您可以将WITH参数修改为'connector' = 'blackhole'后,单击运行。如果不再报错,则证明系统没有问题,您需要排查确认修改WITH参数是否正确。
le结果表是系统内置的Connector。 例如,如果您在注册其他类型的Connector结果表时报错,但您不确定是系统问题还是结果表WITH参数错误,您可以将WITH参数修改为'connector' = 'blackhole'后,单击运行。如果不再报错,则证明系统没有问题,您需要排查确认修改WITH参数是否正确。
le结果表是系统内置的Connector。 例如,如果您在注册其他类型的Connector结果表时报错,但您不确定是系统问题还是结果表WITH参数错误,您可以将WITH参数修改为'connector' = 'blackhole'后,单击运行。如果不再报错,则证明系统没有问题,您需要排查确认修改WITH参数是否正确。
Maxwell JSON 消息解释为 INSERT/UPDATE/DELETE 消息到 Flink SQL 系统中。在许多情况下,这对于利用此功能很有用。 例如: 将数据库中的增量数据同步到其他系统 审计日志 数据库的实时物化视图 临时连接更改数据库表的历史等等。 Flink 还支持将 Flink
SQL作业 登录DLI管理控制台。 进入“作业管理”>“SQL作业”页面。 查看需要确认的作业详情,确认在扣费时间段内是否有以下操作: 是否使用自建的队列。 是否执行SQL作业。 如果使用了按需的弹性资源池下的队列执行作业,默认的计费模式是按CU时计费。 计费详情可参考《数据湖探索价格详情》。