检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
修改表生命周期的时间 功能描述 修改已存在的分区表或非分区表的生命周期。 当第一次开启生命周期时,会扫描表/分区会扫描路径下的表数据文件,更新表/分区的LAST_ACCESS_TIME,耗时与分区数和文件数相关。 约束限制 表生命周期处于公测阶段,如果有需要请联系客服申请开通白名单。
示例3:使用CTAS语句将源表的全部数据或部分数据创建新的OBS表 示例说明:根据示例1:创建OBS非分区表中创建的OBS表table1,使用CTAS语法将table1中的数据复制到table1_ctas表中。 在使用CTAS建表的时候,可以忽略被复制的表在建表时所使用的语法,即不论在
规则 有数据持续写入的表,24小时内至少执行一次compaction。 对于MOR表,不管是流式写入还是批量写入,需要保证每天至少完成1次Compaction操作。如果长时间不做compaction,Hudi表的log将会越来越大,这必将会出现以下问题: Hudi表读取很慢,且需要很大的资源。
ignore-parse-errors 否 false Boolean 当解析异常时,是跳过当前字段或行,还是抛出错误失败(默认为 false,即抛出错误失败)。如果忽略字段的解析异常,则会将该字段值设置为null。 canal-json.timestamp-format.standard
图2 选择连接器类型 选择“云数据库 MySQL”后单击“下一步”,配置云数据库 MySQL连接的参数。 单击“显示高级属性”可查看更多可选参数,具体请参见配置云数据库MySQL/MySQL数据库连接。这里保持默认,必填参数如表1所示。 表1 MySQL连接参数 参数名 说明 取值样例
STRUCT 一组命名的字段,字段的数据类型可以不同。 struct(<value1>,<value2>[, ...]) 具体使用示例详见:STRUCT示例。 使用限制 创建含有复杂数据类型字段的表时,该表存储格式不支持CSV(txt)。 如果表中含有复杂数据类型字段时,该表不支持CSV(txt)格式的文件数据导入。
不支持在HetuEngine中写Hudi表,以及修改Hudi表结构,仅支持读Hudi表。 创建Hudi表时,必须且需要正确配置 primaryKey 和 preCombineField,否则存在数据最终表现与预期不一致的风险。 使用由DLI提供的元数据服务时,不支持创建DLI表,只支持创建OBS表,即必须通过LOCATION参数配置表路径。
syntax为array-scores时,除主键字段外,只能有两个非主键字段,且这两个字段的类型需要为array。 两个字段其中第一个字段类型是array,表示Redis的set中的值;第二个字段类型为array<double>,表示相应索引的score。其示例如下: CREATE
表别名 功能描述 给表或者子查询结果起别名。 语法格式 1 SELECT attr_expr_list FROM table_reference [AS] alias; 关键字 table_reference:可以是表,视图或者子查询。 AS:可用于连接table_refere
分区相关 添加分区(只支持OBS表) 重命名分区(只支持OBS表) 删除分区 指定筛选条件删除分区(只支持OBS表) 修改表分区位置(只支持OBS表) 更新表分区信息(只支持OBS表) REFRESH TABLE刷新表元数据 父主题: 表相关
创建DLI表关联DDS 功能描述 使用CREATE TABLE命令创建DLI表并关联DDS上已有的collection。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件
参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 数据源类型,‘jdbc’表示使用JDBC connector,必须为jdbc connector.url 是 数据库的URL connector.table 是 读取数据库中的数据所在的表名 connector
每次从数据库拉取数据的行数。默认值为0,表示忽略该提示。 connector.lookup.cache.max-rows 否 维表配置,缓存的最大行数,超过该值时,最先添加的数据将被标记为过期。-1表示不使用缓存。 connector.lookup.cache.ttl 否 维表配置,缓存超时时间,超
Hudi源表 功能描述 Flink SQL读取Hudi表数据。 更多具体使用可参考开源社区文档:Hudi。 注意事项 建议Hudi作为Source表时设置限流 Hudi表作为Source表时,为防止数据上限超过流量峰值导致作业出现异常,建议设置限流(read.rate.limit),限流上限应该为业务上线压测的峰值。
分区信息,key=value形式,key为分区字段,value为分区值。若分区字段为多个字段,可以不包含所有的字段,会显示匹配上的所有分区信息。 注意事项 所要查看分区的表必须存在且是分区表,否则会出错。 示例 查看student表下面的所有的分区。 1 SHOW PARTITIONS
syntax为array-scores时,除主键字段外,只能有两个非主键字段,且这两个字段的类型需要为array。 两个字段其中第一个字段类型是array,表示Redis的set中的值;第二个字段类型为array<double>,表示相应索引的score。其示例如下: CREATE
SQL使用DEW管理访问凭据 所有 HBase 表的列簇必须定义为ROW类型,字段名对应列簇名(column family),嵌套的字段名对应列限定符名(column qualifier)。用户只需在表结构中声明查询中使用的的列簇和列限定符。除了 ROW 类型的列,剩下的原子数据类型字段(比如,STRING
SORT BY:一般与GROUP BY一起使用,为PARTITION进行单列或多列的局部排序。 注意事项 所排序的表必须是已经存在的,否则会出错。 示例 根据字段score对表student在Reducer中进行升序排序。 1 2 SELECT * FROM student SORT
LOCATION:分区路径。 参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 obs_path OBS存储路径。 注意事项 所要修改位置的表分区必须是已经存在的,否则将报错。 “partition_specs”中的参数默认带有“(
alias 格式 无。 说明 别名,可给字段、表、视图、子查询起别名,仅支持字符串类型。 父主题: 标示符