检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
固定值/opt/flink/conf default-database 默认数据库名称 否 不填默认default库 properties.catalog.lakecat.auth.identity.util.class 认证信息获取类 是 dew方式必填,固定配置为com.huawei.flink.provider
状态 EOM时间 EOS时间 DLI Flink 1.15 2023年6月 已发布 2025年6月30日 2026年6月30日 更多版本支持信息请参考DLI计算引擎版本生命周期。 Flink 1.15版本说明 Flink 1.15版本在语法设计上实现了更高的兼容性,与主流开源技术标准保持一致。
hh:mi:ss yyyy-mm-dd hh:mi:ss.ff3 返回值说明 返回INT类型的值。 date非DATE或STRING类型时,返回报错,错误信息:data type mismatch。 date为DATE或STRING类型,但不符合日期值的入参格式时,返回NULL。 date值为NULL时,返回NULL。
EOM时间 EOS时间 DLI Flink 1.12 2021年12月 EOS 2023年12月31日 2024年12月31日 更多版本支持信息请参考DLI计算引擎版本生命周期。 Flink 1.12版本说明 Flink 1.12新增支持DataGen源表、DWS源表、JDBC源表、MySQL
如果作业运行失败,单击“操作”列“更多”下的“Driver日志”,显示具体的报错日志信息,根据报错信息定位问题原因。 例如,如下截图信息因为创建Spark Jar作业时主类名没有包含包路径,报找不到类名“SparkDemoObs”。 图17 报错信息 可以在“操作”列,单击“编辑”,修改“主类”参数为正确的:com
"message": "IEF Flink作业状态信息上报成功" } 状态码 状态码如表5所示。 表5 状态码 状态码 描述 200 IEF Flink作业状态信息上报成功。 400 请求错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题:
到OBS桶中,且导出的路径必须指定到文件夹级别。 支持跨账号导出数据,即,如果B账户对A账户授权后,A账户拥有B账户OBS桶的元数据信息和权限信息的读取权限,以及路径的读写权限,则A账户可将数据导出至B账户的OBS路径中。 导出数据步骤 导出数据的入口有两个,分别在“数据管理”和“SQL编辑器”页面。
yyyy-mm-dd hh:mi:ss.ff3 返回值说明 返回BIGINT类型。 date1、date2非DATE或STRING类型时,返回报错,错误信息:data type mismatch。 date1、date2为DATE或STRING类型,但不符合日期值的入参格式时,返回NULL。
hh代表小时。 mi代表分钟。 ss代表秒。 返回值说明 返回STRING类型的日期值。 date非DATE或STRING类型时,返回报错,错误信息:data type mismatch。 date为DATE或STRING类型,但不符合日期值的入参格式时,返回NULL。 date值为NULL时,返回NULL。
T-Digest函数 概述 T-digest是存储近似百分位信息的数据草图。HetuEngine中用tdigest表示这种数据结构。T-digest可以合并,在存储时可以强转为VARBINARY,检索时再由VARBINARY转换为T-digest 函数 merge(tdigest)→tdigest
DLI经典型跨源连接生命周期 表1 DLI经典型跨源连接生命周期 功能 状态 EOM时间 EOL时间 DLI经典型跨源连接 计划下线,不推荐使用 2023年12月30日 2024年6月30日 EOM:End of Marketing,停止该功能销售。 EOL:End of life,停止所有销售、服务活动。
DLI表在创建时需要指定Schema信息,如果select子句或者values中字段数量与CSS表的Schema字段数量不匹配时,系统将报错。 类型不一致时不一定报错,例如插入int类型数据,但CSS中Schema保存的是文本类型,int类型会被转换成文本类型。 不建议对同一张表并发插入数据
server connection或container启动失败。 解决方案 确认是否已修改跨源连接的主机信息,如果没有,请参考DLI跨源连接中配置MRS主机信息修改主机信息。重新创建和提交Spark作业。 问题2:运行Spark作业,作业运行失败,作业日志中提示KrbException:
EOM时间 EOS时间 DLI Spark 3.1.1 2021年12月 EOS 2023年12月31日 2024年12月31日 更多版本支持信息请参考DLI计算引擎版本生命周期。 Spark 3.1.1版本说明 下表列举了Spark 3.1.1 版本主要的功能特性。 更多版本新特性请参考Release
yyyy-mm-dd hh:mi:ss.ff3 返回值说明 返回DOUBLE类型的值。 date1、date2非DATE或STRING类型时,返回报错,错误信息:data type mismatch。 date1、date2为DATE或STRING类型,但不符合日期值的入参格式时,返回NULL。
EOM时间 EOS时间 DLI Spark 2.4.5 2021年12月 EOS 2023年12月31日 2024年12月31日 更多版本支持信息请参考DLI计算引擎版本生命周期。 Spark 2.4.5 版本说明 表1列举了Spark 2.4.5 版本主要的功能特性。 更多版本新特性请参考Release
IntegerType, StringType, Row from pyspark.sql import SparkSession 创建会话并设置AK/SK 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 1 2 3 4 5
在停止作业之前,用户可以选择是否对作业创建保存点,保存作业的状态信息。类型为boolean。 当triggerSavePoint为true时,表示创建保存点。 当triggerSavePoint为false时,表示不创建保存点。默认为false。 响应消息 表3 响应参数说明 参数名称
disConfig.put(DisConsumerConfig.GROUP_ID_CONFIG, groupId); // 是否主动更新分片信息及更新时间间隔(毫秒),若有主动扩缩容需求,可以开启 disConfig.put(FlinkDisConsumer.KEY
MM代表月份。 返回值说明 返回DATE类型的日期值,格式为yyyy-mm-dd。 date非DATE或STRING类型时,返回报错,错误信息:data type mismatch。 date为DATE或STRING类型,但不符合日期值的入参格式时,返回NULL。 date值为NULL时,返回NULL。