检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
插入数据 1 sparkSession.sql("insert into dli_to_rds values(3,'John',24)") 查询数据 1 2 jdbcDF_after = sparkSession.sql("select * from dli_to_rds") jdbcDF_after
dataGenSource; 运行结果 单击Flink作业操作列下的“更多 > FlinkUI > Task Managers > Stdout”查看输出结果: 父主题: 函数
dataGenSource; 运行结果 单击Flink作业操作列下的“更多 > FlinkUI > Task Managers > Stdout”查看输出结果: 父主题: 函数
作业处于运行中状态时,向kafka source.topic发送数据,验证kafka sink.topic能否收到数据。 图8 查看作业任务 图9 查看kafka sink.topic JAVA样例代码 pom文件配置 1 2 3 4 5 6 7 8
弹性资源池相关API 创建弹性资源池 查询所有弹性资源池 删除弹性资源池 修改弹性资源池信息 查询弹性资源池下所有队列 关联队列到弹性资源池 弹性资源池扩缩容历史记录 修改弹性资源池关联队列的扩缩容策略
是 数据库连接用户名。 password 是 数据库连接密码。 db_url 是 数据库连接地址格式为:postgresql://ip:port/database。 table_name 是 要插入数据的数据库表名。数据库表需事先创建好。 db_columns 否 支持配置输出流
是 数据库连接用户名。 password 是 数据库连接密码。 db_url 是 数据库连接地址格式为:postgresql://ip:port/database。 table_name 是 要插入数据的数据库表名。数据库表需事先创建好。 db_columns 否 支持配置输出流
单击“控制台”页面上方“费用与成本”,在下拉菜单中选择“续费管理”。 进入“续费管理”页面。 自定义查询条件。 可在“手动续费项”、“自动续费项”、“到期转按需项”、“到期不续费项”页签查询全部待续费资源,对资源进行手动续费的操作。 图2 续费管理 所有需手动续费的资源都可归置到“手动
添加分区。 具体语法请参考《数据湖探索SQL语法参考》。 往分区导入OBS桶中的数据。 具体语法请参考《数据湖探索SQL语法参考》。 查询数据。 具体语法请参考《数据湖探索SQL语法参考》。 父主题: SQL作业开发类
数据存储服务,为DLI提供了高性能的随机读写能力,适用于海量结构化数据、半结构化数据以及时序数据的存储和查询应用,适用于物联网IOT应用和通用海量KeyValue数据存储与查询等场景。CloudTable的更多信息,请参见《表格存储服务用户指南》。 前提条件 确保CloudTab
数据存储服务,为DLI提供了高性能的随机读写能力,适用于海量结构化数据、半结构化数据以及时序数据的存储和查询应用,适用于物联网IOT应用和通用海量KeyValue数据存储与查询等场景。CloudTable的更多信息,请参见《表格存储服务用户指南》。 前提条件 确保CloudTab
语法生成的虚拟列。它由使用同一表中其他列的非查询表达式生成,并且不会在表中进行物理存储。例如,一个计算列可以使用 cost AS price * quantity 进行定义,这个表达式可以包含物理列、常量、函数或变量的任意组合,但这个表达式不能存在任何子查询。 在 Flink 中计算列一般用于为
Driver中获取最新版本的JDBC安装包。 JDBC版本2.X版本功能重构后,仅支持从DLI作业桶读取查询结果,如需使用该特性需具备以下条件: 在DLI管理控制台“全局配置 > 工程配置”中完成作业桶的配置。 提交工单申请开启查询结果写入桶特性的白名单。 如果使用maven构建,加入huaweicloud
SELECT 子句中定义多个 OVER 窗口聚合。然而,对于流式查询,由于目前的限制,所有聚合的 OVER 窗口必须是相同的。 OVER 窗口需要数据是有序的。因为表没有固定的排序,所以 ORDER BY 子句是强制的。对于流式查询,Flink 目前只支持 OVER 窗口定义在升序(asc)的时间属性上。其他的排序不支持。
cn-north-1.myhuaweicloud.com/jarname.jar" group_name:资源包所属分组名称。 查询所有资源包 DLI提供查询资源列表接口,您可以使用该接口并选择相应的资源来执行作业。示例代码如下: 1 2 3 4 5 6 7 8 9
产品优势 纯SQL操作 DLI提供标准SQL接口,用户仅需使用SQL便可实现海量数据查询分析。SQL语法全兼容标准ANSI SQL 2003。 存算分离 DLI解耦计算和存储负载,存算分离架构,存储资源和计算资源按需灵活配置,提高了资源利用率,降低了成本。 企业级多租户 支持计算
上传数据到OBS桶:通过OBS管理控制台或者使用命令行工具将存储在sftp中的文件数据上传到OBS桶中。 Spark读取OBS文件数据,详见使用Spark Jar作业读取和查询OBS数据。 配置Spark作业:配置Spark作业访问OBS中存储的数据。 提交Spark作业:完成作业编写后,提交并执行作业。 父主题:
EXCEPT 功能描述 返回两个查询结果的差集。 语法格式 1 select_statement EXCEPT select_statement; 关键字 EXCEPT:做集合减法。A EXCEPT B将A中所有和B重合的记录扣除,然后返回去重后的A中剩下的记录,EXCEPT默
流中在同一窗口且符合 join 条件的元素 join 起来。窗口关联的语义和 DataStream window join 相同。 在流式查询中,与其他连续表上的关联不同,窗口关联不产生中间结果,只在窗口结束产生一个最终的结果。另外,窗口关联会清除不需要的中间状态。通常,窗口关联和
在Spark SQL作业中使用UDF 操作场景 DLI支持用户使用Hive UDF(User Defined Function,用户定义函数)进行数据查询等操作,UDF只对单行数据产生作用,适用于一进一出的场景。 约束限制 在DLI Console上执行UDF相关操作时,需要使用自建的SQL队列。