检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
要根据如下指导获取连接信息,包括了Endpoint和项目编号。 操作步骤 连接DLI服务的地址格式为:jdbc:dli://<endPoint>/<projectId>。因此您需要获取对应的Endpoint和项目编号。 在地区和终端节点获取DLI对应的Endpoint;在华为云页
删除分区 功能描述 本节操作介绍删除分区表的一个或多个分区。 分区表分为两种,OBS表和DLI表。在删除分区时,DLI表和OBS表都支持利用指定条件删除分区表的一个或多个分区。OBS表还支持按指定筛选条件删除分区。 注意事项 所要删除分区的表必须是已经存在的表,否则会出错。 所要
时分析、监控报告和转储等场景。 数据接入服务(Data Ingestion Service,简称DIS)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网
table_name 表名称。 partition_specs 分区字段。 obs_path OBS存储路径。 注意事项 向表中添加分区时,此表和分区列(建表时PARTITIONED BY指定的列)必须已存在,而所要添加的分区不能重复添加,否则将出错。已添加的分区可通过IF NOT EXISTS避免报错。
HOP(time_attr, interval, interval) 拓展的跳跃窗口(等价于datastream的滑动窗口),可以分别设置输出触发周期和窗口周期。 SESSION(time_attr, interval) 会话窗口,interval表示多长时间没有记录则关闭窗口。 窗口函数 表2
HOP(time_attr, interval, interval) 拓展的跳跃窗口(等价于datastream的滑动窗口),可以分别设置输出触发周期和窗口周期。 SESSION(time_attr, interval) 会话窗口,interval表示多长时间没有记录则关闭窗口。 窗口函数 表2
interval表示时间间隔,有两种类型,一种为“yyyy-MM”,即保存年份和月份,精度到月份,它的Range可以为YEAR或者YEAR To Month;一种为天 时间(“dd HH:mm:sss.fff'”),用来保存天数、小时、分钟、秒和毫秒, 精度最低到毫秒, 他的range可以为DAY TO
测试连通性如下所示。 图1 测试地址连通性 检查是否连接的是对端VPC和子网 创建增强型跨源连接时需要填写对端的VPC和子网。 例如,测试队列与指定RDS实例连通性,创建连接时需要填写RDS的VPC和子网信息。 图2 创建连接 检查队列的网段是否与数据源网段是否重合 绑定跨源的DLI队列网段和数据源网段不能重合。
的业务系统是由多个不同的应用构成,为同一种应用拥有的资源实例设置统一的标签将很容易帮助您对不同的应用进行使用量分析和成本核算。 对DLI来说,标签用于标识购买的队列和创建数据库,对购买的DLI队列和数据库进行分类。为队列或数据库添加标签时,该队列或数据库上所有请求产生的计费话单里
encode 是 输出数据编码格式,当前支持“parquet”格式和“csv”格式。 当schema为obs时,输出数据编码格式仅支持“parquet”格式。 当schema为hdfs时,输出数据编码格式支持“parquet”格式和“csv”格式。 ak 否 输出到OBS时该参数必填。用于
encode 是 输出数据编码格式,当前支持“parquet”格式和“csv”格式。 当schema为obs时,输出数据编码格式仅支持“parquet”格式。 当schema为hdfs时,输出数据编码格式支持“parquet”格式和“csv”格式。 ak 否 输出到OBS时该参数必填。用于
仅“包年/包月”资源、“专属资源模式”的“按需计费”资源才能创建增强型跨源链接。 登录DLI管理控制台。 在“购买队列”页面,进行资源选型和参数配置。 购买队列的详细参数请参考创建队列。 步骤3:创建专属队列和VPC的增强型跨源连接 在DLI管理控制台左侧导航栏中,选择“跨源管理”。 选择“增强型跨源”页签,单击左上角的“创建”按钮。
参数说明 表1 参数描述 参数 描述 db_name Database名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以下划线开头。 table_name Database中的表名,由字母、数字和下划线(_)组成。不能是纯数字,且不能以下划线开头。 匹配规则为:^(?!_)(?
DWS作为数据源类型。为用户提供了更多的数据源选择,使得数据集成更加灵活和方便。 Flink OpenSource SQL作业适合通过SQL语句来定义和执行流处理逻辑的场景,简化了流处理的复杂性,使得开发者可以更加专注于业务逻辑的实现。 创建Flink OpenSource SQL请参考创建Flink
长度范围为3到63个字符,支持小写字母、数字、中划线(-)、英文句号(.)。 禁止两个英文句号(.)或英文句号(.)和中划线(-)相邻,禁止以英文句号(.)和中划线(-)开头或结尾。 禁止使用IP地址。 如果名称中包含英文句号(.),访问桶或对象时可能会进行安全证书校验。 导入
开发不同的作业访问数据源以实现DLI跨源分析。 本节操作介绍DLI支持的数据源对应的开发方式。 使用须知 Flink作业访问DIS,OBS和SMN数据源,无需创建跨源连接,可以直接访问。 推荐使用增强型跨源连接打通DLI与数据源之间的网络。 跨源分析开发方式 表1提供DLI支持的数据源对应的开发方式。
中访问所有Flink和Spark支持的数据源与输出源,如Kafka、Hbase、ElasticSearch等。 具体内容请参见《数据湖探索开发指南》。 存算分离 用户将数据存储到OBS后,DLI可以直接和OBS对接进行数据分析。存算分离的架构下,使得存储资源和计算资源可以分开申请和计费,降低了成本并提高了资源利用率。
SQL和MySQL两种数据库。PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。MySQL数据库适用于各种WEB应用、电子商务应用、企业应用、移动应用等场景,减少IT部署和维护成本。
SQL和MySQL两种数据库。PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。MySQL数据库适用于各种WEB应用、电子商务应用、企业应用、移动应用等场景,减少IT部署和维护成本。
后续章节操作都需要在testdb数据库下进行操作。 DataSource和Hive两种语法创建OBS表的区别 DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异。两种语法创建OBS表主要差异点参见表1。 表1 DataSource语法和Hive语法创建OBS表的差异点 语法