检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
having_expression; 关键字 groupby_expression:可以是单字段,多字段,也可以是聚合函数,字符串函数等。 注意事项 所要分组的表必须是已经存在的表,否则会出错。 如果过滤条件受GROUP BY的查询结果影响,则不能用WHERE子句进行过滤,而要用HAVING子句进行过滤。HAVING与GROUP
流式计算采用MOR表。 流式计算为低时延的实时计算,需要高性能的流式读写能力,在Hudi表中存在的MOR和COW两种模型中,MOR表的流式读写性能相对较好,因此在流式计算场景下采用MOR表模型。关于MOR表在读写性能的对比关系如下: 对比维度 MOR表 COW表 流式写 高 低 流式读
timestamp=>'[timestamp]'); 参数描述 表1 参数描述 参数 描述 是否必填 op 生成compaction计划(op指定为“schedule”),或者执行已经生成的compaction计划(op指定为“run”) 是 table 需要查询表的表名,支持database.tablename格式
中作为只读(虚拟)meta 列声明。 表2 元数据 Key 数据类型 说明 database STRING NULL 源数据库。对应于Maxwell记录中的数据库字段(如果可用)。 table STRING NULL 源数据库中的表。对应于Maxwell记录中的表字段(如果可用)。 primary-key-columns
理页面。 启动作业,有以下两种方式: 启动单个作业 选择一个作业,在对应的“操作”列中,单击“启动”。 也可以在作业列表中,勾选一个作业,单击作业列表左上方的“启动”。 批量启动作业 勾选多个作业,单击作业列表左上方的“启动”,可以启动多个作业。 单击“启动”后,跳转至“作业配置清单”页面。
Hudi数据表Clean规范 Clean也是Hudi表的维护操作之一,该操作对于MOR表和COW表都需要执行。Clean操作的目的是为了清理旧版本文件(Hudi不再使用的数据文件),这不但可以节省Hudi表List过程的时间,也可以缓解存储压力。 规则 Hudi表必须执行Clean。
否 String 对应服务的子网关联的路由表。 hosts 否 Array of Objects 用户自定义主机信息,最大支持2万条记录,详细信息参见表 hosts请求参数。 tags 否 Array of Objects 跨源连接的标签。具体请参考表4。 表3 hosts请求参数
Object 分区信息。请参考表4。 表4 partitions参数说明 参数名称 是否必选 参数类型 说明 total_count 是 Long 总个数。 partition_infos 是 Array of Objects 分区信息列表。请参考表5。 表5 partition_infos参数说明
支持企业项目,表示仅能在IAM中给用户组授权并生效,如果在企业管理中授权,则该自定义策略不生效。 关于IAM项目与企业项目的区别,详情请参见:IAM与企业管理的区别。 仅在表1中的接口支持自定义授权,其他不在表格中的接口不支持自定义授权。 “√”表示支持,“x”表示暂不支持。 DLI支持自定义策略授权项如下表所示。
ime]', limit=>[limit]); 参数描述 表1 参数描述 参数 描述 是否必填 table 需要查询表的表名,支持database.tablename格式 是 instant_time 某次commit对应的时间戳 是 limit 限制返回结果的条数 否 示例 call
Hudi数据表Archive规范 Archive(归档)是为了减轻Hudi读写元数据的压力,所有的元数据都存放在这个路径:Hudi表根目录/.hoodie目录,如果.hoodie目录下的文件数量超过10000就会发现Hudi表有非常明显的读写时延。 规则 Hudi表必须执行Archive。
条件表达式 CASE 标准的SQL CASE表达式有两种模式。 “简单模式”从左向右查找表达式的每个value,直到找出相等的expression: CASE expression WHEN value THEN result [ WHEN ... ] [ ELSE result
Upsert Kafka结果表 功能描述 DLI将Flink作业的输出数据以upsert的模式输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。
min,s,ms等,默认为ms。 默认表示不使用该配置。 lookup.max-retries 否 3 Integer 维表配置,数据拉取最大重试次数。 示例 从Kafka源表中读取数据,将DWS表作为维表,并将二者生成的宽表信息写入Kafka结果表中,其具体步骤如下: 参考增强型跨
HBase表 创建DLI表关联MRS HBase表之前确保HBase的表是存在的。以样例代码为例,具体的流程是: 远程登录ECS,通过hbase shell命令查看表信息。其中,“hbtest”是要查询的表名。 describe 'hbtest' (可选)如果不存在对应的HBase表,可以创建该表,具体的命令是:
自定义分组或选择已有的分组名称。 图2 创建对应的Flink Jar包 创建distoDis对应的包。 在DLI控制台,打开“数据管理 > 程序包管理”,单击“创建程序包”,创建disToDis.properties对应的程序包。代码样例请参考disToDis.properties样例。 表2 创建disToDis
单击外部数据源所属的安全组名称,进入安全组详情界面。 您可以在对应数据源的管理控制台,参考步骤1:获取外部数据源的内网IP、端口和安全组获取对应数据源的安全组名称。 在“入方向规则”页签中添加放通队列网段的规则。如图2所示。 详细的入方向规则参数说明请参考表3。 图2 添加入方向规则 表3 入方向规则参数说明 参数
否 false Boolean 将所有 DECIMAL 类型的数据保持原状,不使用科学计数法表示。例:0.000000027 默认会表示为 2.7E-8。当此选项设为 true 时,则会表示为 0.000000027。 元数据 元数据可以在 DDL 中作为只读(虚拟)meta 列声明。
表继承数据库权限后,对表重复赋予已继承的权限会报错吗? 当表继承了数据库的权限时,无需重复对表赋予已继承的权限。 因为继承的权限已经足够使用,重复授权还可能导致表权限管理上的混乱。 在控制台操作表权限时: 如果“用户授权”赋予表的权限与继承权限相同,系统会提示已有该权限无需重复操作。
数量和类型与目标表的Schema信息匹配。即确保源表和目标表的数据类型和列字段个数相同,以避免插入失败。 如果目标表中的某些字段在SELECT子句中没有被指定,那么这些字段也可能被插入默认值或置为空值(取决于该字段是否允许空值)。 父主题: SQL作业开发类