检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
入过程中已经存在记录,则会为COW表执行 HoodieDuplicateKeyException;对于MOR表,该模式与upsert模式行为一致。 non-strict模式,对主键表采用insert处理。 upsert模式,对于主键表的重复值进行更新操作。 在提交Spark SQ
创建维表 创建Redis表 创建RDS表 父主题: Flink SQL语法参考(不再演进,推荐使用Flink OpenSource SQL)
类型 说明 权限相关API 包括队列赋权、查看队列的使用者、数据赋权、查看数据库的使用者、查看表的使用者、查看表的用户权限和查看赋权对象使用者权限信息。 全局变量相关API 包括创建全局变量、删除全局变量、修改全局变量和查询所有全局变量。 增强型跨源连接相关API 包括创建增强型跨
tblproperties('hoodie.index.type'='xx'); 除Spark以外,其他引擎也可以修改Hudi表元数据,但是这种修改会导致整个Hudi表出现数据重复,甚至数据损坏;因此禁止修改上述属性。 父主题: Spark on Hudi开发规范
数据迁移 数据迁移概览 迁移Hive数据至DLI 迁移Kafka数据至DLI 迁移Elasticsearch数据至DLI 迁移RDS数据至DLI 迁移DWS数据至DLI
UNIX格式的时间戳。代表需要转换的时间戳 此处参数应填正常UNIX格式时间戳前十位。 返回值说明 返回STRING类型的日期值,格式为yyyy-mm-dd hh:mi:ss。 unixtime值为NULL时,返回NULL。 示例代码 返回2023-08-16 09:39:57。 select from_
UNIX格式的时间戳。代表需要转换的时间戳 此处参数应填正常UNIX格式时间戳前十位。 返回值说明 返回STRING类型的日期值,格式为yyyy-mm-dd hh:mi:ss。 unixtime值为NULL时,返回NULL。 示例代码 返回2023-08-16 09:39:57。 select from_
辅助命令语法 DESCRIBE DESCRIBE FORMATTED COLUMNS DESCRIBE DATABASE| SCHEMA EXPLAIN 父主题: HetuEngine SQL语法
这些Flink版本上无缝运行。 在社区版Flink的基础上,DLI扩展了Connector的支持,新增了Redis、DWS作为数据源类型。为用户提供了更多的数据源选择,使得数据集成更加灵活和方便。 Flink OpenSource SQL作业适合通过SQL语句来定义和执行流处理逻
如果选择的OBS桶是未授权状态,需要单击“OBS授权”。 日志信息的保存路径为:“桶名/jobs/logs/作业id开头的目录”。其中,“桶名”可以自定义。“/jobs/logs/作业id开头的目录”为固定格式。 在作业列表中,单击对应的作业名称,然后在“运行日志”页签,可以单击
创建维表 创建Redis表 创建RDS表 父主题: Flink SQL语法参考(不再演进,推荐使用Flink OpenSource SQL)
表1 DLI的指定资源与对应路径 资源类型 资源名称 资源路径 queue DLI队列 queues.queuename database DLI数据库 databases.dbname table DLI表 databases.dbname.tables.tbname column
DDL语法定义 CREATE TABLE语句 CREATE CATALOG语句 CREATE DATABASE语句 CREATE VIEW语句 CREATE FUNCTION语句 父主题: SQL语法约束与定义
使用Spark作业跨源访问数据源 概述 对接CSS 对接DWS 对接HBase 对接OpenTSDB 对接RDS 对接Redis 对接Mongo 父主题: Spark Jar作业开发指南
查看所有表 功能描述 查看当前数据库下所有的表。显示当前数据库下的所有表及视图。 语法格式 1 SHOW TABLES [IN | FROM db_name] [LIKE regex_expression]; 关键字 FROM/IN:指定数据库名,显示特定数据库下的表及视图。 参数说明
查看所有表 功能描述 查看当前数据库下所有的表。显示当前数据库下的所有表及视图。 语法格式 1 SHOW TABLES [IN | FROM db_name] [LIKE regex_expression]; 关键字 FROM/IN:指定数据库名,显示特定数据库下的表及视图。 参数说明
登录DLI控制台,左侧导航栏单击“SQL编辑器”,执行引擎选择“spark”,选择执行的队列和数据库。本次演示队列和数据库选择“default”。 下载的文件中包含时间用量等,按表头意义在DLI上创建表,具体可以参考如下示例,其中amount列为费用。 CREATE TABLE `spending` ( account_period
单击需删除表的数据库名,进入该数据库的“表管理”页面。 选中目标表,单击“操作”栏中的“更多 > 删除表”。 在弹出的确认对话框中,单击“是”。 在“SQL编辑器”页面删除表。 在SQL作业管理控制台的顶部菜单栏中,选择“SQL编辑器”。 在左侧导航栏选择“数据库”页签,鼠标左键
表示嵌套列全路径,嵌套列具体规则见ADD COLUMNS。 修改列名后自动同步到列comment中,comment的形式为:rename oldName to newName。 系统响应 通过运行DESCRIBE命令查看表列修改。 父主题: Schema演进语法说明
跨源连接相关 跨源连接HBase表 跨源连接OpenTSDB表 跨源连接DWS表 跨源连接RDS表 跨源连接CSS表 跨源连接DCS表 跨源连接DDS表 跨源连接Oracle表