正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
迁移数据场景概述 使用CDM迁移数据至DLI 迁移Hive数据至DLI 迁移Kafka数据至DLI 迁移Elasticsearch数据至DLI 迁移RDS数据至DLI 迁移DWS数据至DLI
欠费说明 用户在使用DLI服务时,账户的可用额度小于待结算的账单,即被判定为账户欠费。欠费后,可能会影响云服务资源的正常运行,请及时充值。 欠费原因 已购买套餐包,但使用量超出套餐包额度,进而产生按需费用,同时账户中的余额不足以抵扣产生的按需费用。请参考已购买套餐包,为什么仍然产
处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者环境变量中密文存放,使用时解密,确保安全。Flink
语句中,可以随意添加其他的查询条件,但其他条件只允许通过 AND 与 rownum <= N 结合使用。 注意事项 TopN 查询的结果会带有更新。 Flink SQL 会根据排序键对输入的流进行排序。 如果 top N 的记录发生了变化,变化的部分会以撤销、更新记录的形式发送到下游。 如果
定义数据源。 type_class_name 是 用户实现获取源数据的sink类名称,注意包含完整包路径。 type_class_parameter 是 用户自定义sink类的入参,仅支持一个string类型的参数。 注意事项 用户自定义sink类需要继承类RichSinkFun
语句中,可以随意添加其他的查询条件,但其他条件只允许通过 AND 与 rownum <= N 结合使用。 注意事项 TopN 查询的结果会带有更新。 Flink SQL 会根据排序键对输入的流进行排序。 如果 top N 的记录发生了变化,变化的部分会以撤销、更新记录的形式发送到下游。 如果
该操作修改了作业对资源的算法逻辑。 例如原有的算法的语句是执行加减运算,当前需要恢复的状态将算法的语句修改成为乘除取余的运算,是无法从checkpoint直接恢复的。 修改“静态流图” 不支持 该操作修改了作业对资源的算法逻辑。 修改“单TM所占CU数”参数 支持 对计算资源的修改并没有影响到作业算法或算子的运行逻辑。
语句中,可以随意添加其他的查询条件,但其他条件只允许通过 AND 与 rownum <= N 结合使用。 注意事项 TopN 查询的结果会带有更新。 Flink SQL 会根据排序键对输入的流进行排序。 如果 top N 的记录发生了变化,变化的部分会以撤销、更新记录的形式发送到下游。 如果
语句中,可以随意添加其他的查询条件,但其他条件只允许通过 AND 与 rownum <= N 结合使用。 注意事项 TopN 查询的结果会带有更新。 Flink SQL 会根据排序键对输入的流进行排序。 如果 top N 的记录发生了变化,变化的部分会以撤销、更新记录的形式发送到下游。 如果
语句中,可以随意添加其他的查询条件,但其他条件只允许通过 AND 与 rownum <= N 结合使用。 注意事项 TopN 查询的结果会带有更新。 Flink SQL 会根据排序键对输入的流进行排序。 如果 top N 的记录发生了变化,变化的部分会以撤销、更新记录的形式发送到下游。 如果
定义数据源。 type_class_name 是 用户实现获取源数据的sink类名称,注意包含完整包路径。 type_class_parameter 是 用户自定义sink类的入参,仅支持一个string类型的参数。 注意事项 用户自定义sink类需要继承类RichSinkFun
只能为user-defined,表示使用自定义的sink。 connector.class-name 是 sink函数的全限定类名。sink类的具体实现可以参考前提条件说明。 connector.class-parameter 否 sink函数其构造函数的参数,只支持一个String类型的参数。 注意事项 connector
只能为user-defined,表示使用自定义的sink。 connector.class-name 是 sink函数的全限定类名。sink类的具体实现可以参考前提条件说明。 connector.class-parameter 否 sink函数其构造函数的参数,只支持一个String类型的参数。 注意事项 connector
Spark 3.1.1版本说明 数据湖探索(DLI)遵循开源Spark计算引擎的发布一致性。本文介绍Spark 3.1.1版本所做的变更说明。 更多Spark 3.1.1版本说明请参考Spark Release Notes。 Spark 3.1.1版本发布时间 版本名称 发布时间
EdgeHub输出流(EOS) MRS HBase输出流 MRS Kafka输出流 开源Kafka输出流 文件系统输出流(推荐) OBS输出流 RDS输出流 SMN输出流 父主题: Flink SQL语法参考(不再演进,推荐使用Flink OpenSource SQL)
DWS输出流(通过OBS转储方式) MRS HBase输出流 MRS Kafka输出流 开源Kafka输出流 文件系统输出流(推荐) OBS输出流 RDS输出流 SMN输出流 父主题: Flink SQL语法参考(不再演进,推荐使用Flink OpenSource SQL)
DLI跨源分析场景连接外部数据源时,由于数据源的VPC与DLI VPC不同,网络无法连通,导致DLI无法读取数据源数据。DLI提供的增强型跨源连接功能可以实现DLI与数据源的网络连通。 本节操作为您介绍跨VPC的数据源网络连通方案: 创建增强型跨源连接:采用对等连接的方式打通DLI与数据源的VPC网络。 测试
只能为user-defined,表示使用自定义的source。 connector.class-name 是 source函数的全限定类名。 connector.class-parameter 否 source函数其构造函数的参数,只支持一个String类型的参数。 注意事项 connector
regexp_extract REGEXP_EXTRACT函数用于将字符串source按照pattern的分组规则进行字符串匹配,返回第groupid个组匹配到的字符串内容。 命令格式 regexp_extract(string <source>, string <pattern>[
regexp_extract REGEXP_EXTRACT函数用于将字符串source按照pattern的分组规则进行字符串匹配,返回第groupid个组匹配到的字符串内容。 命令格式 regexp_extract(string <source>, string <pattern>[