检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource
“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink Opensource
支持将OBS中CSV,Parquet,ORC,JSON和Avro格式的数据导入到在DLI中创建的表。 将CSV格式数据导入分区表,需在数据源中将分区列放在最后一列。 导入数据的编码格式仅支持UTF-8。 数据导出 只支持将DLI表(表类型为“Managed”)中的数据导出到OBS桶中,且导出的路径必须指定到文件夹级别。
支持将OBS中CSV,Parquet,ORC,JSON和Avro格式的数据导入到在DLI中创建的表。 将CSV格式数据导入分区表,需在数据源中将分区列放在最后一列。 导入数据的编码格式仅支持UTF-8。 数据导出 只支持将DLI表(表类型为“Managed”)中的数据导出到OBS桶中,且导出的路径必须指定到文件夹级别。
据挖掘等场景。 管理Jar作业的程序包 DLI允许用户提交编译为Jar包的Flink或Spark作业,Jar包中包含了Jar作业执行所需的代码和依赖信息,用于在数据查询、数据分析、机器学习等特定的数据处理任务中使用。通过DLI管理控制台可以管理作业所需的呈现包。 在提交Spark
hbase.util.Bytes 进行字节数组和 Flink 数据类型转换。 Flink的HBase连接器将所有数据类型(除字符串外)null 值编码成空字节。对于字符串类型,null 值的字面值由null-string-literal选项值决定。 表2 数据类型映射表 Flink 数据类型
效。 辅助函数必须使用与 GROUP BY 子句中的分组窗口函数完全相同的参数来调用。 若使用事件时间,则需要使用watermark标识,代码如下(其中order_time被标识为事件时间列,watermark时间设置为3秒): CREATE TABLE orders ( order_id
辅助函数必须使用与 GROUP BY 子句中的分组窗口函数完全相同的参数来调用。 如果使用事件时间,则需要使用watermark标识,代码如下(其中order_time被标识为事件时间列,watermark时间设置为3秒): CREATE TABLE orders ( order_id
Hive Read & Write 功能描述 本节介绍利用Flink来读写Hive的表。Hive源表的定义,以及创建源表时使用的参数和示例代码。详情可参考:Apache Flink Hive Read & Write Flink支持在BATCH 和 STREAMING模式下从Hi
hbase.util.Bytes进行字节数组和Flink 数据类型转换。 Flink 的 HBase 连接器将所有数据类型(除字符串外)null值编码成空字节。对于字符串类型,null值的字面值由null-string-literal选项值决定。 表2 数据类型映射表 Flink 数据类型
encode encode(string <str>, string <charset>) BINARY 将str按照charset格式进行编码。 find_in_set find_in_set(string <str1>, string <str2>) BIGINT 查找字符串str1在以逗号(
RDS表有自增主键时怎样在DLI插入数据? 在DLI中创建关联RDS表时,如果RDS表包含自增主键或其他自动填充字段,您在DLI中插入数据时可以采取以下措施: 插入数据时省略自增字段:在DLI中插入数据时,对于自增主键字段或其他自动填充的字段,您可以在插入语句中省略这些字段。数据
提供跨源连接、分析相关的功能介绍和操作指导。 开发指南 跨源访问其他数据源 提供跨源访问CSS、DWS、HBase、OpenTSDB、RDS、Redis、Mongo等样例代码和开发指导。 增强型跨源API参考 提供增强型跨源相关API接口指导。
park版本,推荐使用最新版本。 不建议长期混用不同版本的Spark/Flink引擎。 长期混用不同版本的Spark/Flink引擎会导致代码在新旧版本之间不兼容,影响作业的执行效率。 当作业依赖于特定版本的库或组件,长期混用不同版本的Spark/Flink引擎可能会导致作业因依赖冲突而执行失败。
欠费说明 用户在使用DLI服务时,账户的可用额度小于待结算的账单,即被判定为账户欠费。欠费后,可能会影响云服务资源的正常运行,请及时充值。 欠费原因 已购买套餐包,但使用量超出套餐包额度,进而产生按需费用,同时账户中的余额不足以抵扣产生的按需费用。请参考已购买套餐包,为什么仍然产
jar httpcore-nio-4.4.4.jar - Flink 1.7.2 依赖包 Flink 1.7.2作业程序开发的样例代码可以参考DLI样例代码中的“luxor-demo\dli-flink-demo”。 表6 Flink 1.7.2 依赖包 依赖包名称 bcpkix-jdk15on-1
Flink作业样例 提供Flink作业程序开发的样例指导。 使用Flink Jar写入数据到OBS 提供Flink如果将数据处理后写入到OBS的样例代码。 Flink作业相关API 提供Flink相关API的使用说明。