检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
@Override public void close() {} } 使用示例 UDTF支持CROSS JOIN和LEFT JOIN,在使用UDTF时需要带上 LATERAL 和TABLE 两个关键字。 CROSS JOIN:对于左表的每一行数据,假设UDTF不产生输出,则这一行不进行输出。
参考增强型跨源连接,在DLI上根据MySQL和Kafka所在的虚拟私有云和子网分别创建相应的增强型跨源连接,并绑定所要使用的Flink弹性资源池。 设置MySQL和Kafka的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据MySQL和Kafka的地址测试队列连通性
true || Null(BOOLEAN) 返回 TRUE。 boolean1 AND boolean2 BOOLEAN 如果 boolean1 和 boolean2 都为 TRUE 返回 TRUE。支持三值逻辑。 例如 true && Null(BOOLEAN) 返回 UNKNOWN。
isBlindAppend 是否追加数据 operationMetrics 操作的度量(例如,修改的文件数、行数、字节数等信息) engineInfo Spark和Delta版本信息 父主题: Delta Time Travel
@Override public void close() {} } 使用示例 UDTF支持CROSS JOIN和LEFT JOIN,在使用UDTF时需要带上 LATERAL 和TABLE 两个关键字。 CROSS JOIN:对于左表的每一行数据,假设UDTF不产生输出,则这一行不进行输出。
标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格,不能以_sys_开头。 value 是 String 标签的值。 说明: 标签值的最大长度为255个字符,标签的值可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格。
筛选条件,目前只支持“=”条件筛选,例如:name=name1,表示筛选出分区中name=name1的数据,name为分区列名称,name1为分区列的值。key和value不区分大小写。 例如:GET /v1.0/{project_id}/databases/{database_name}/table
COLUMN:修改列 COMMENT:列描述。 参数说明 表1 参数描述 参数 是否必选 描述 db_name 否 Database名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以下划线开头。 table_name 是 表名称。 col_name 是 列字段名称。col_name必须是已存在的列。
状态码 描述 200 取消成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: SQL作业相关API
状态码 描述 200 删除成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: 队列相关API(推荐)
datepart 是 STRING 代表需要返回的时间单位。 参数datepart支持扩展的日期格式:年-year、月-month或-mon、日-day和小时-hour。 yyyy代表年份。 MM代表月份。 dd代表天。 hh代表小时。 mi代表分钟。 ss代表秒。 返回值说明 返回BIGINT类型。
参考增强型跨源连接,在DLI上根据ClickHouse和Kafka集群所在的虚拟私有云和子网分别创建跨源连接,并绑定所要使用的Flink作业队列。 设置ClickHouse和Kafka集群安全组的入向规则,使其对当前将要使用的Flink作业队列网段放通。参考测试地址连通性根据ClickHouse和Kafka的地址测
如果需要调整动态扩缩容的配置项,则需要停止作业进行编辑,并提交运行才能生效。 操作步骤 Flink作业动态扩缩容适用于Flink Opensource SQL作业和Flink Jar作业。 登录DLI管理控制台。 单击“作业管理 > Flink作业”。 选择要开启动态扩缩容的作业,单击操作列下的编辑。 Flink
状态码如表3所示。 表3 状态码 状态码 描述 200 删除作业成功。 400 输入参数无效。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: Flink作业相关API
建议使用。 建议 事实表采用日期分区表,维度表采用非分区或者大颗粒度的日期分区 是否采用分区表要根据表的总数据量、增量和使用方式来决定。从表的使用属性看事实表和维度表具有的特点: 事实表:数据总量大,增量大,数据读取多以日期做切分,读取一定时间段的数据。 维度表:总量相对小,增量
清理使用。该委托需新建后自定义权限,但委托名称固定为dli_data_clean_agency。 请在设置委托的授权范围时分别对OBS权限和DLI权限授权范围: OBS权限请选择“全局服务资源” DLI权限选择“指定区域项目资源” { "Version": "1.1",
dli.user.regionName DLI队列所在的区域名。 从地区和终端节点获取,对应“区域”列就是regionName。 spark.dli.user.dliEndPoint DLI队列所在的终端节点。 从地区和终端节点获取,对应的“终端节点(Endpoint)”就是该参数取值。
状态码 描述 200 查询成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: Spark作业相关API
据 Flink Opensource SQL如何解析复杂嵌套 JSON? Flink Opensource SQL从RDS数据库读取的时间和RDS数据库存储的时间为什么会不一致? Flink Opensource SQL Elasticsearch结果表failure-handl
Flink作业场景 Flink Opensource SQL使用DEW管理访问凭据 Flink Opensource SQL场景使用DEW管理和访问凭据的操作指导,将Flink作业的输出数据写入到Mysql或DWS时,在connector中设置账号、密码等属性。 Flink Jar 使用DEW获取访问凭证读写OBS