检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在DLI控制台预览表数据 “预览页面”将显示对应表的前10条数据。 预览数据步骤 预览数据的入口有两个,分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面预览数据。 在管理控制台左侧,单击“数据管理”>“库表管理”。 单击需导出数据对应数据库名称,进入该数据库“表管理”页面。
1996; 96 M 月份 July; Jul; 07 w 年中的周数 27(该年的第27周) W 月中的周数 2(该月的第2周) D 年中的天数 189(该年的第189天) d 月中的天数 10(该月的第10天) u 星期中的天数 1 = 星期一, ..., 7 = 星期日 a am/pm
DLI通过流量限制、跨AZ容灾、备份恢复等技术方案,保障数据的持久性和可靠性。 流量限制:DLI通过设置流量控制机制,防止服务过载并保持服务的稳定性。 跨AZ容灾:DLI云服务采用跨可用区容灾部署,减少单点故障的风险,提高系统的可用性和弹性。 备份恢复:DLI自动化的备份策略和恢复计划,确保在发生故障时可以迅速恢复服务和数据。
如果作业运行成功则作业状态显示为“已成功”,通过以下操作查看创建的数据库和表。 可以在DLI控制台,左侧导航栏,单击“SQL编辑器”。在“数据库”中已显示创建的数据库“test_sparkapp”。 图14 查看创建的数据库 双击数据库名,可以在数据库下查看已创建成功的DLI和OBS表。 图15 查看表 双
典型场景示例:配置DLI与内网数据源的网络联通 背景信息 DLI与内网数据源的网络联通通常指的是华为云内部服务的场景,例如DLI连接MRS、RDS、CSS、Kafka、DWS时,需要打通DLI和外部数据源之间的网络。使用DLI提供的增强型跨源连接,采用对等连接的方式打通DLI与目的数据源的VPC网络,实现数据互通。
在实际使用过程中,开发人员创建了数据库和表,交给测试人员进行测试,测试人员测试完成后,再交给运维人员进行体验,在这种情况下,可以通过修改表的所有者,将数据转移给其他所有者。 修改表所有者 在管理控制台左侧,单击“数据管理”>“库表管理”。 单击需要修改的表对应数据库名,进入该数据库的“表管理”页面。
需要做的,就是根据当前可以获取到的业务数据,实时统计每种渠道的相关指标,输出存储到数据库中,并进行大屏展示。 方案架构 使用DLI Flink完成电商业务实时数据的分析处理,获取各个渠道的销售汇总数据。 图1 方案简介 流程指导 使用DLI Flink进行电商实时业务数据分析的操作过程主要包括以下步骤:
访问ClickHouse数据库的账号。 connector.password 否 无 String 访问ClickHouse数据库账号的密码。 connector.write.flush.max-rows 否 5000 Integer 写数据时刷新数据的最大行数,默认值为:5000。
常量,默认值为NULL。 当offset指定的范围越界时的缺省值,需要与expr对应的数据类型相同。如果expr非常量,则基于当前行进行求值。 partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause 否 指定数据在一个窗口内如何排序。 返回值说明
OpenTSDB是基于HBase分布式的 ,可伸缩的时间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息,并可实现数据的秒级查询,解决海量监控类数据在普通数据库中查询存储的局限性,可用于系统监控和测量、物联网数据、金融数据和科学实验结果数据的收集监控。 DLI可以通过
迁移数据场景概述 为了将分散在不同系统中的数据迁移到DLI,确保数据可以在DLI集中分析和管理,您可以通过云数据迁移服务CDM等迁移工具迁移数据至DLI,再使用DLI提交作业分析数据。 CDM支持数据库、数据仓库、文件等多种类型的数据源,通过可视化界面对数据源迁移任务进行配置,提高数据迁移和集成的效率。
简介 Catalog提供了元数据信息,例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。 数据处理最关键的方面之一是管理元数据。 元数据可以是临时的,例如临时表、或者通过TableEnvironment注册的UDF。 元数据也可以是持久化的,例如Hive Metastore中的元数据。Catalog
常量,默认值为NULL。 当offset指定的范围越界时的缺省值,需要与expr对应的数据类型相同。如果expr非常量,则基于当前行进行求值。 partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause 否 指定数据在一个窗口内如何排序。 返回值说明
使用DLI的跨源认证管理数据源访问凭证 跨源认证概述 创建CSS类型跨源认证 创建Kerberos跨源认证 创建Kafka_SSL类型跨源认证 创建Password类型跨源认证 跨源认证权限管理 父主题: 配置DLI读写外部数据源数据
orderby_clause 否 指定数据在一个窗口内如何排序。 frame_clause 否 用于确定数据边界。 返回值说明 参数的数据类型。 示例代码 示例数据 为便于理解函数的使用方法,本文为您提供源数据,基于源数据提供函数相关示例。创建表logs,并添加数据,命令示例如下: create
[RESTRICT|CASCADE] 描述 从Catalog中删除指定的数据库,如果数据库中包含表,则必须在执行DROP DATABASE之前删除这些表,或者使用CASCADE模式。 DATABASE和SCHEMA在概念上是等价可互换的。 [IF EXISTS] 如果目标数据库不存在,将抛出错误提示,但如果使用了IF
Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DWS的更多信息,请参见《数据仓库服务管理指南》。 前提条件 请务必确保您的账户下已在数据仓库服务(DWS)里创建了DWS集群。 如何创建DWS集群,请参考《数据仓库服务管理指南》中“创建集群”章节。
DLI将Flink作业的输出数据输出到数据仓库服务(DWS)中。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存储更加复杂类型的数据,支持空间信息服务、多版本并发控制(MVCC)、高并发,适用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data Warehouse
[db_name.]table_name; 关键字 OBS表:仅删除其元数据信息,不删除存放在OBS上的数据。 DLI表:删除其数据及相应的元数据信息。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。
导出数据的类型,目前API支持csv和json格式数据。 database_name 是 String 被导出数据的表所在的数据库名称。 table_name 是 String 被导出数据的表名称。 compress 是 String 导出数据的压缩方法。目前支持gzip、bzip2、deflate压缩方式;若不希望压缩,则输入none。