检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
请求发送是否成功。“true”表示请求发送成功。 message 是 String 系统提示信息,执行成功时,信息可能为空。 job_id 否 String 提交请求成功时,生成并提交一个新的作业,返回作业ID。用户可以使用作业ID来查询作业状态和获取作业结果。 status 是 String 作业状态。状态可能为
之中自动推导得到。不支持显式地定义 JSON schema。 在 Flink 中,JSON Format 使用 jackson databind API 去解析和生成 JSON。 下表列出了 Flink 中的数据类型与 JSON 中的数据类型的映射关系。 表2 数据类型映射 Flink SQL类型 JSON类型
标准满足了数据仓库领域的测试需求,并且促使各个厂商以及研究机构将该项技术推向极限。 本示例将演示DLI直接对存储在OBS中的TPC-H数据集进行查询的操作,DLI已经预先生成了100M的TPC-H-2.18的标准数据集,已将数据集上传到了OBS的tpch文件夹中,并且赋予了只读访问权限,方便用户进行查询操作。 TPC-H的测试和度量指标
设置是否将作业运行时的日志信息保存到OBS。日志信息的保存路径为:“桶名/jobs/logs/作业id开头的目录”。 注意: 该参数建议勾选,否则作业运行完成后不会生成运行日志,后续如果作业运行异常则无法获取运行日志进行定位。 勾选后需配置下列参数: “OBS桶”:选择OBS桶用于保存用户作业日志信息。如
包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DWS的更多信息,请参见《数据仓库服务管理指南》。 推荐使用DWS服务自研的DWS Connector。
7 | 6 | 7 (7 rows) row_number()→ bigint 描述:从1开始,按照顺序,生成分组内记录的序列–比如,按照pv降序排列,生成分组内每天的pv名次ROW_NUMBER() 的应用场景非常多,再比如,获取分组内排序第一的记录。获取一个session中的第一条refer等。
li_management_agency的委托信息。 步骤1:开发Jar包并上传数据至OBS DLI控制台不提供Jar包的开发能力,您需要在线下完成Jar包的开发。Jar包的开发样例请参考Flink Jar开发基础样例。 参考Flink作业样例代码开发Flink Jar作业程序,
format("opentsdb").options(map.toMap).load().show() 返回结果: 提交Spark作业 将写好的代码生成jar包,上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spar
库表管理中表的列表页面,表类型为External,存储位置为OBS路径的即代表OBS表。 视图表 视图表(View)是一种虚拟表,它不存储实际的数据,而是根据定义的查询逻辑动态生成数据。视图通常用于简化复杂的查询,或者为不同的用户或应用提供定制化的数据视图。 视图表可以基于一个或多个表创建,提供了一种灵活的方式来展示数据,而不影响底层数据的存储和组织。
Upsert Kafka结果表 功能描述 DLI将Flink作业的输出数据以upsert的模式输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。
Kafka结果表 功能描述 DLI将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。 前提条件 Kafka是线下集
String kind = "jar"; String[] paths = new String[1]; paths[0] = "https://bucketname.obs.cn-north-1.myhuaweicloud.com/jarname.jar"; String
操作完成时间。 status String 扩缩容成功或者失败的状态。 fail_reason String 失败原因。 请求示例 GET https://{endpoint}/v3/{project_id}/elastic-resource-pools/{elastic_resour
sparkSession.sql("select * from testhbase").show(); 提交Spark作业 将写好的代码文件生成jar包,上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 如果MRS
size Integer. MAX_VALUE 否 一个 Partition 对应的Doris Tablet 个数。 此数值设置越小,则会生成越多的 Partition。从而提升 Flink 侧的并行度,但同时会对 Doris 造成更大的压力。 doris.batch.size 1024
stering处于inflight状态,该FileGroup下的文件不支持被更新。 如果存在未完成的Clustering计划,后续写入触发生成Compaction调度计划时会报错失败,需要及时执行Clustering计划。 父主题: 数据管理维护
请求发送是否成功。“true”表示请求发送成功。 message 是 String 系统提示信息,执行成功时,信息可能为空。 job_id 是 String 此SQL语句将生成并提交一个新作业,返回此作业的ID,可用于获取作业状态和作业结果。 job_type 是 String 作业类型。 DDL DCL IMPORT
NULL到JSON的转换并不能简单地实现。从独立的NULL进行转换将产生一个SQLNULL,而不是JSON 'null'。不过,在从包含NULL的数组或Map进行转换时,生成的JSON将包含NULL。 在从ROW转换为JSON时,结果是一个JSON数组,而不是一个JSON对象。这是因为对于SQL中的行,位置比名称更重要。
“创建作业”:直接在该模板下创建作业,创建完后,系统跳转到“作业管理”下的作业编辑页面。 当前已有的样例模板包括如下场景: 利用地址信息的维表生成订单信息宽表 实时统计每天成交额、订单数和支付人数等指标 统计实时点击量最高的商品 自定义模板 自定义模板列表显示所有的jar作业模板,自定义模板列表参数说明如表
Flink Jar作业是否支持上传配置文件,要如何操作? Flink Jar作业上传配置文件操作流程 自定义(JAR)作业支持上传配置文件。 将配置文件通过程序包管理上传到DLI; 在Flink jar作业的其他依赖文件参数中,选择创建的DLI程序包; 在代码中通过ClassName