检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
cast(content as date) FROM T1; 结果: "2018-01-01" Flink作业不支持使用CAST将“BIGINT”转换为“TIMESTAMP”,可以使用to_timestamp进行转换。 示例二 参考Kafka源表和Print结果表创建flink opensource
更新跨源认证(废弃) 功能介绍 该API用于更新认证信息。 当前接口已废弃,不推荐使用。推荐使用更新跨源认证。 调试 您可以在API Explorer中调试该接口。 URI URI格式: PUT /v2.0/{project_id}/datasource/auth-infos 参数说明
column_expression [, ...] ) 描述 VALUES用于查询可以使用的任何地方(例如SELECT、INSERT的FROM子句)。VALUES用于创建了一个没有列名的匿名表,但是表和列可以使用具有列别名的AS子句命名。 示例 返回一个1列3行的表: VALUES 1, 2
Json Avro DLI服务的数据可以存储在哪些地方? OBS:SQL作业,Spark作业,Flink作业使用的数据均可以存储在OBS服务中,降低存储成本。 DLI:DLI内部使用的是列存的Parquet格式,即数据以Parquet格式存储。存储成本较高。 跨源作业可将数据存储在对应
_c0 | +------------+ | 1.342355 | +------------+ 与group by配合使用,对所有商品按照仓库(warehourseId)进行分组,并计算同组商品库存(items)的样本偏差。命令示例如下: select warehourseId
创建跨源认证(废弃) 功能介绍 该API用于创建跨源认证。 当前接口已废弃,不推荐使用。推荐使用创建跨源认证。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v2.0/{project_id}/datasource/auth-infos 参数说明
DLI侧创建的Kafka_SSL类型的跨源认证名称。Kafka配置SSL时使用该配置。 注意:若仅使用SSL类型,则需要同时配置'properties.security.protocol '= 'SSL'; 若使用SASL_SSL类型,则需要同时配置'properties.security
num.buckets=5 判断使用分区表还是非分区表 根据表的使用场景一般将表分为事实表和维度表: 事实表通常整表数据规模较大,以新增数据为主,更新数据占比小,且更新数据大多落在近一段时间范围内(年或月或天),下游读取该表进行ETL计算时通常会使用时间范围进行裁剪(例如最近一天、
如何合并小文件 使用SQL过程中,生成的小文件过多时,会导致作业执行时间过长,且查询对应表时耗时增大,建议对小文件进行合并。 推荐使用临时表进行数据中转 自读自写在突发异常场景下存在数据丢失的风险 执行SQL: INSERT OVERWRITE TABLE tablename select
cast(content as date) FROM T1; 结果: "2018-01-01" Flink作业不支持使用CAST将“BIGINT”转换为“TIMESTAMP”,可以使用to_timestamp进行转换。 CAST示例二 参考Kafka和Print创建flink opensource
var_pop(items) from warehouse; 返回结果如下: _c0 203.42352 与group by配合使用,对所有商品按照仓库(warehourseId)进行分组,并计算同组商品库存(items)的方差。命令示例如下: select warehourseId
创建经典型跨源连接 功能介绍 该API用于创建与其他服务的经典型跨源连接。 推荐使用创建增强型跨源连接。 系统default队列不支持创建跨源连接。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v2.0/{p
弹性资源池上可以添加多个不同队列用于作业运行,具体添加弹性资源池添加队列的操作可以参考创建弹性资源池并添加队列。添加完队列后,可以根据不同队列计算资源使用量的波峰和波谷和优先级来配置要扩缩容的CU数,从而来保障作业的稳定运行。 注意事项 建议对流批业务实施资源池的精细化管理,将Flink实时
初始化DLI客户端 使用DLI Python SDK工具访问DLI,需要用户初始化DLI客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)或Token两种认证方式初始化客户端,示例代码如下。完整样例代码和依赖包说明请参考:Python
个参数一起使用,将被展开成多列,行数与最高基数参数相同(其他列用空填充)。UNNEST可以选择使用WITH ORDINALITY子句,在这种情况下,会在末尾添加一个额外的ORDINALITY列。UNNEST通常与JOIN一起使用,可以引用JOIN左侧关系中的列。 使用单独一列 SELECT
b60-ca25b5eee8fe fail.the subnet could not be found."} 原因分析 DLI跨源连接需要使用VPC、子网、路由、对等连接、端口功能,因此需要获得VPC(虚拟私有云)的VPC Administrator权限。 客户未给VPC服务授权导致DLI跨源连接报错找不到子网。
如何给子用户授权查看Flink作业? 子用户使用DLI时,可以查看队列,但是不能查看Flink作业,可以通过在DLI中对子用户授权,或在IAM中对子用户授权: DLI授权管理 使用租户账号,或者作业owner账号,或有DLI Service Administrator权限的账号,登录DLI控制台。
版本支持公告 DLI计算引擎版本生命周期 Flink 1.15版本说明 Flink 1.12版本说明 Spark 3.3.1版本说明 Spark 3.1.1版本说明 Spark 2.4.5版本说明 Spark 2.4.x与Spark 3.3.x版本差异对比
如果您的自定义函数需要在多个作业中使用,但对于不同作业某些参数值不同,直接在UDF中修改较为复杂。您可以在Flink OpenSource SQL编辑页面,自定义配置中配置参数pipeline.global-job-parameters,在UDF代码中获取该参数并使用。如需修改参数值,直接在FlinkOpenSource
如果您的自定义函数需要在多个作业中使用,但对于不同作业某些参数值不同,直接在UDF中修改较为复杂。您可以在Flink OpenSource SQL编辑页面,自定义配置中配置参数pipeline.global-job-parameters,在UDF代码中获取该参数并使用。如需修改参数值,直接在FlinkOpenSource