检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
弹性资源池的实际CUs、CU范围、规格的含义 实际CUs:弹性资源池当前分配的可用CUs。 CU范围:CU设置主要是为了控制弹性资源池扩缩容的最大最小CU范围,避免无限制的资源扩容风险。 弹性资源池中所有队列的最小CU数之和需要小于等于弹性资源池的最小CU数。 弹性资源池中任意一
Postgres CDC源表 功能描述 Postgres的CDC源表,即Postgres的流式源表,用于依次读取PostgreSQL数据库全量快照数据和变更数据,保证不多读一条也不少读一条数据。即使发生故障,也能采用Exactly Once方式处理。 前提条件 PostgreSQL
使用标准SQL语句进行数据的查询和分析。 准备工作 已注册华为账号并开通华为云,且在使用DLI前检查账号状态,账号不能处于欠费或冻结状态。 配置DLI委托访问授权 DLI使用过程中涉及到OBS、VPC、SMN等服务交互,首次使用DLI需要用户配置委托授权,允许访问这些依赖服务。 使用华为云账号登录DLI管理控制台,在左侧导航栏单击“全局配置
按需计费的弹性资源池,如果没提交作业运行就不计费? 想要使用扫描套餐包计费,购买队列还要额外收费吗? 超出套餐包额度的使用量怎么收费? 弹性资源池的实际CUs、CU范围、规格的含义 包年包月弹性资源池设置了定时扩缩容时,怎样计费?
HISTORY delta.`obs://tablePath` LIMIT 1; 系统响应 返回表的历史操作记录,结果指标代表含义见下表。 表1 结果指标说明 指标名称 指标含义 version 对表操作的版本号 timestamp 当前版本操作的时间戳 userId 当前版本操作的用户id
Java SDK Java SDK概述 Java SDK环境配置 OBS授权 队列相关 资源相关 SQL作业相关 Flink作业相关 Spark作业相关 Flink作业模板相关
MySQL CDC源表 功能描述 MySQL的CDC源表,即MySQL的流式源表,会先读取数据库的历史全量数据,并平滑切换到Binlog读取上,保证数据的完整读取。 前提条件 MySQL CDC要求MySQL版本为5.7或8.0.x。 该场景作业需要DLI与MySQL建立增强型跨
Flink OpenSource SQL作业开发 从Kafka读取数据写入到RDS 从Kafka读取数据写入到DWS 从Kafka读取数据写入到Elasticsearch 从MySQL CDC源表读取数据写入到DWS 从PostgreSQL CDC源表读取数据写入到DWS Fli
自定义函数 创建函数 删除函数 显示函数详情 显示所有函数
跨源连接DCS表 创建DLI表关联DCS 插入数据至DCS表 查询DCS表 父主题: 跨源连接相关
DLI计算引擎版本生命周期 版本号说明 DLI计算引擎版本号:格式为计算引擎名称 x.y.z,其中计算引擎分为Flink和Spark,版本号具体含义如图1所示。 图1 DLI计算引擎版本号 版本支持情况 Flink计算引擎推荐版本:Flink 1.15。 Spark计算引擎推荐版本: Spark
Connector列表 Connector概述 BlackHole ClickHouse DataGen Doris DWS Elasticsearch 对象存储OBS Hbase Hive Hudi JDBC Kafka MySql CDC Print Redis Upsert
MySql CDC 功能描述 MySQL的CDC源表,即MySQL的流式源表,会先读取数据库的历史全量数据,并平滑切换到Binlog读取上,保证数据的完整读取。 表1 支持类别 类别 详情 支持表类型 源表 前提条件 MySQL CDC要求MySQL版本为5.6,5.7或8.0.x。
安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的
DATABASE|SCHEMA [EXTENDED] schema_name 描述 DATABASE和SCHEMA在此处是等价的,可互换的,它们有这相同的含义。 该语法用于显示SCHEMA的名称、注释、还有它在文件系统上的根路径。 可选项EXTENDED可以用来显示SCHEMA的数据库属性。 示例
创建源表 DataGen源表 DWS源表 Hbase源表 JDBC源表 Kafka源表 MySQL CDC源表 Postgres CDC源表 Redis源表 Upsert Kafka源表 FileSystem源表 父主题: 数据定义语句DDL
跨源连接相关 跨源连接HBase表 跨源连接OpenTSDB表 跨源连接DWS表 跨源连接RDS表 跨源连接CSS表 跨源连接DCS表 跨源连接DDS表 跨源连接Oracle表
查询DCS表 SELECT命令用于查询DCS表中的数据。 语法格式 1 SELECT * FROM table_name LIMIT number; 关键字 LIMIT:对查询结果进行限制,number参数仅支持INT类型。 示例 查询表test_redis中的数据。 1 SELECT
创建DLI表关联DCS 功能描述 使用CREATE TABLE命令创建DLI表并关联DCS上已有的Key。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表
插入数据至DCS表 功能描述 INSERT INTO命令将DLI表中的数据插入到已关联的DCS Key中。 语法格式 将SELECT查询结果插入到表中: 1 2 3 4 5 6 7 INSERT INTO DLI_TABLE SELECT field1,field2...