检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
故障处理 问题1:运行Spark作业,作业运行失败,作业日志中提示java server connection或container启动失败 问题现象 运行Spark作业,作业运行失败,作业日志中提示java server connection或container启动失败。 解决方案
不用配置该项。 注意事项 在创建Source Stream时可以指定时间模型以便在后续计算中使用,当前DLI支持Processing Time和Event Time两种时间模型,具体使用语法可以参考配置时间模型。 示例 从OBS的桶读取对象为input.csv的文件,文件以'\n'划行,
创建中间流 创建维表 创建Redis表 创建RDS表 自拓展生态 自拓展输入流 自拓展输出流 父主题: Flink SQL语法参考(不再演进,推荐使用Flink OpenSource SQL)
内置函数 数学运算函数 字符串函数 时间函数 类型转换函数 聚合函数 表值函数 其他函数 父主题: Flink SQL语法参考(不再演进,推荐使用Flink OpenSource SQL)
创建维表 创建Redis表 创建RDS表 父主题: Flink SQL语法参考(不再演进,推荐使用Flink OpenSource SQL)
temporal) INT 提取时间点的一部分或者时间间隔。以int类型返回该部分。 例如:提取日期“2006-06-05”中的日为5,则可以使用:EXTRACT(DAY FROM DATE "2006-06-05") FLOOR(timepoint TO timeintervalunit)
聚合函数 聚合函数是从一组输入值计算一个结果。例如使用COUNT函数计算SQL查询语句返回的记录行数。聚合函数如表1所示。 示例数据:表T1 |score| |81 | |100 | |60 | |95 | |86 | 常用聚合函数 表1 常用聚合函数表 函数 返回值类型
g Time和Event Time。 DLI允许在创建Source Stream和Temp Stream的时候指定时间模型以便在后续计算中使用。 配置Processing Time Processing Time是指系统时间,与数据本身的时间戳无关,即在Flink算子内计算完成的时间。
* 可选 */ @Override public void close() {} } 使用示例 UDTF支持CROSS JOIN和LEFT JOIN,在使用UDTF时需要带上 LATERAL 和TABLE 两个关键字。 CROSS JOIN:对于左表的每一行数据
参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 构造依赖信息,创建SparkSession 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency>
OpenTSDB,若使用增强型跨源连接,填写OpenTSDB所在节点IP与端口,格式为"IP:PORT",OpenTSDB存在多个节点时,用分号隔开,获取方式请参考“图 MRS集群OpenTSDB IP信息”和“图 MRS集群OpenTSDB 端口信息”。若使用经典型跨源,填写经典
若值不等于列表中的每个值,则返回TRUE。 double、real和float值存在一定的精度差。且我们不建议直接使用等号“=”对两个double类型数据进行比较。用户可以使用两个double类型相减,而后取绝对值的方式判断。当绝对值足够小时,认为两个double数值相等,例如: abs(0
、海量的消息处理服务,它大大简化系统耦合,能够根据用户的需求,向订阅终端主动推送消息。可用于连接云服务、向多个协议推送消息以及集成在产生或使用通知的任何其他应用程序等场景。 SMN的更多信息,请参见《消息通知服务用户指南》。 语法格式 1 2 3 4 5 6 7 8 9 CREATE
际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。
1 2 3 4 5 AR_PRED(field, degree):使用AR模型预测新数据。 AR_COEF(field, degree):返回AR模型的权值。 ARMA_PRED(field, degree):使用ARMA模型预测新数据。 ARMA_COEF(field, degree):返回ARMA模型的权值。
操作场景 本例提供使用Spark作业访问DWS数据源的java样例代码。 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
DMS输入流 分布式消息服务(Distributed Message Service,简称DMS)是一项基于高可用分布式集群技术的消息中间件服务,提供了可靠且可扩展的托管消息队列,用于收发消息和存储消息。 分布式消息服务Kafka是一款基于开源社区版Kafka提供的消息队列服务,
DMS输出流 分布式消息服务Kafka是一款基于开源社区版Kafka提供的消息队列服务,向用户提供可靠的全托管式的Kafka消息队列。 DLI支持将作业的输出数据输出到DMS的Kafka实例中。 创建DMS Kafka输出流的语法与创建开源Apache Kafka输出流一样,具体请参见MRS
务: 使用PARTITION BY 和ORDER BY子句对MATCH_RECOGNIZE子句中的数据进行逻辑分区和排序。 使用PATTERN子句来定义要查找的数据行的模式。这些模式使用规则表达式语法。 使用DEFINE子句指定PATTERN模式变量所需的逻辑条件。 使用MEAS
开源Kafka输出流 文件系统输出流(推荐) OBS输出流 RDS输出流 SMN输出流 父主题: Flink SQL语法参考(不再演进,推荐使用Flink OpenSource SQL)