检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
会出错。 DISTINCT:从结果集移除重复的行。 WHERE:WHERE子句嵌套将利用子查询的结果作为过滤条件。 operator:包含关系运算符中的等式与不等式操作符及IN,NOT IN,EXISTS,NOT EXISTS操作符。 当operator为IN或者NOT IN时,子查询的返回结果必须是单列。
quantity 进行定义,这个表达式可以包含物理列、常量、函数或变量的任意组合,但这个表达式不能存在任何子查询。 在 Flink 中计算列一般用于为 CREATE TABLE 语句定义 时间属性。 处理时间属性 可以简单地通过使用了系统函数 PROCTIME() 的 proc AS PROCTIME()
Long 父作业ID。“show_detail”为“false”时独有。 graph_editor_enabled 否 Boolean 作业的流图是否可编辑。“true”表示作业的流图可以编辑,“false”表示作业的流图不可以编辑。 has_savepoint 否 Boolean 作业
当写入 Avro 文件时,Spark 会将日期/时间戳从外推格里历重新调整到传统的混合模式(儒略历 + 格里历)。 from_unixtime函数差异 说明: Spark2.4.x: 以Asia/Shanghai时区的 -2209017600 为例,返回值为1900-01-01 00:00:00。
修改弹性资源池的主机信息 操作场景 主机信息用于配置主机的IP与域名的映射关系,在作业配置时只需使用配置的域名即可访问对应的主机。在跨源连接创建完成后,支持修改主机信息。 常见的访问MRS的HBase集群时需要配置实例的主机名(即域名)与主机对应的IP地址。 约束限制 已获取MR
12版本。Flink 1.15版本的Jar作业开发指导请参考Flink Jar写入数据到OBS开发指南。 配置文件使用方法 方案一:直接在main函数里面加载文件内容到内存,然后广播到各个taskmanager,这种方式适合那种需要提前加载的少量变量。 方案二:在open里面初始化算子的
逻辑判断条件。 > 关系运算符:大于。 >= 关系运算符:大于等于。 < 关系运算符:小于。 <= 关系运算符:小于等于。 = 关系运算符:等于。 <> 关系运算符:不等于。 is 关系运算符:是。 is not 关系运算符:不是。 const_null 常量:空值。 like 关系运算符:用于通配符匹配。
SQL作业。 Flink Jar作业:允许用户提交编译为Jar包的Flink作业,提供了更大的灵活性和自定义能力。 适合需要自定义函数、UDF(用户定义函数)或特定库集成的复杂数据处理场景。可以利用Flink的生态系统,实现高级流处理逻辑和状态管理。详细操作请参考创建Flink Jar作业。
quantity 进行定义,这个表达式可以包含物理列、常量、函数或变量的任意组合,但这个表达式不能存在任何子查询。 在 Flink 中计算列一般用于为 CREATE TABLE 语句定义 时间属性。 处理时间属性 可以简单地通过使用了系统函数 PROCTIME() 的 proc AS PROCTIME()
DLI委托概述 什么是委托? 各云服务之间存在业务交互关系,一些云服务需要与其他云服务协同工作,需要您创建云服务委托,将操作权限委托给DLI服务,让DLI服务以您的身份使用其他云服务,代替您进行一些资源运维工作。 例如:在DLI新建Flink作业所需的AKSK存储在数据加密服务D
JDBC结果表 功能描述 DLI将Flink作业的输出数据输出到关系型数据库中。 前提条件 要与实例建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。
单击“下一步”,配置队列的扩缩容策略。 单击“新增”,可以添加不同优先级、时间段、“最小CU”和“最大CU”扩缩容策略。 本例配置的扩缩容策略如图2所示。 图2 添加队列时配置扩缩容策略 表4 扩缩容策略参数说明 参数名称 参数说明 配置样例 优先级 当前弹性资源池中的优先级数字越大表示优先
如果选择Spark版本为3.3.1时,支持在Spark参数(--conf)配置计算资源规格参数, 且conf的配置优先级高于高级配置指定的值。 参数对应关系请参考表4。 说明: 在Spark参数(--conf)配置计算资源规格参数时,可以配置单位 M/G/K,不配置时候默认单位为byte。 访问元数据
JDBC结果表 功能描述 DLI通过JDBC结果表将Flink作业的输出数据输出到关系型数据库中。 前提条件 DLI要与实例建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规
可以考虑以下几种方式进行复杂类型数据处理: 字段扁平化处理,将下一级的字段展开放在同一层Schema字段中。 使用二进制方式进行写入与读取,并通过自定义函数进行编解码。 示例 指定table 1 2 3 4 5 6 7 create table test_redis(name string, age
单击“下一步”,配置队列的扩缩容策略。 单击“新增”,可以添加不同优先级、时间段、“最小CU”和“最大CU”扩缩容策略。 本例配置的扩缩容策略如图2所示。 图2 添加队列时配置扩缩容策略 表4 扩缩容策略参数说明 参数名称 参数说明 配置样例 优先级 当前弹性资源池中的优先级数字越大表示优先
inequality 等式与不等式,详情请参见关系运算符。 pattern_string 模式匹配字符串,支持通配符匹配。WHERE LIKE条件过滤时,支持SQL通配符中“%”与“_”,“%”代表一个或多个字符,“_”仅代表一个字符。 like 关系运算符:用于通配符匹配。 父主题: 标示符
单击“确定”,解除弹性资源池与增强型跨源连接的绑定关系。 方法二: 选择待删除的增强型跨源连接,单击列表中的连接名称,进入连接”。 选择待解绑的弹性资源池,单击操作列“解绑弹性资源池”。 单击“是”,解除弹性资源池与增强型跨源连接的绑定关系。 父主题: 管理增强型跨源连接
DLI SDK DLI SDK功能矩阵 DLI SDK与API的对应关系
t之间怎样分布。 SINGLE Fragment会在单个节点上执行。 HASH Fragment会在固定数量的节点上执行,输入数据通过哈希函数进行分布。 ROUND_ROBIN Fragment会在固定数量的节点上执行,片段在固定数量的节点上执行,输入数据以轮循方式进行分布。 BROADCAST