检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下面的查询生成每个职员按天计算的订单价格的滚动总和。
"opentsdb-3xcl8dir15m58z3.cloudtable.com:4242" sparkSession.read.format("opentsdb").options(map.toMap).load().show() 返回结果: 提交Spark作业 将写好的代码生成
视图表 视图表(View)是一种虚拟表,它不存储实际的数据,而是根据定义的查询逻辑动态生成数据。视图通常用于简化复杂的查询,或者为不同的用户或应用提供定制化的数据视图。 视图表可以基于一个或多个表创建,提供了一种灵活的方式来展示数据,而不影响底层数据的存储和组织。
sparkSession.sql("insert into testhbase values('95274','abc','Hongkong')"); 查询数据 1 sparkSession.sql("select * from testhbase").show(); 提交Spark作业 将写好的代码文件生成
project_id}/streaming/flink-jobs/{job_id} dli:jobs:update √ × 删除flink作业 DELETE /v1.0/{project_id}/streaming/jobs/{job_id} dli:jobs:delete √ × 批量运行
包含自动生成的别名时创建视图失败 说明: Spark2.4.x:Spark2.4.x版本中如果语句中包含自动生成的别名,则正常执行且无提示信息。 Spark3.3.x:Spark3.3.x版本中如果语句中包含自动生成的别名,则创建/更改视图将失败。
avro-confluent.url 否 无 String 用于获取/注册架构的Confluent Schema Registry的URL。
由于 Flink 1.11 起引入了新的自定义函数注册接口,使用了新的自定义函数类型推断机制,因此原先1.10 重载 getResultType 声明返回字段类型的方式将不再可用。
由于 Flink 1.11 起引入了新的自定义函数注册接口,使用了新的自定义函数类型推断机制,因此原先1.10 重载 getResultType 声明返回字段类型的方式将不再可用。
此数值设置越小,则会生成越多的 Partition。从而提升 Flink 侧的并行度,但同时会对 Doris 造成更大的压力。 doris.batch.size 1024 否 一次从 BE 读取数据的最大行数。增大此数值可减少Flink与Doris之间建立连接的次数。
适用于数据仓库查询、报表生成、OLAP(在线分析处理)等场景。 Flink作业 专为实时数据流处理设计,适用于低时延、需要快速响应的场景。适用于实时监控、在线分析等场景。
如果存在未完成的Clustering计划,后续写入触发生成Compaction调度计划时会报错失败,需要及时执行Clustering计划。 父主题: 数据管理维护
传入要删除的字段,返回不包含此字段的DataFrame对象,并且每次只能删除一个字段,示例如下: 1 jdbcDF.drop("id").show() 提交作业 将写好的代码生成jar包,上传至OBS桶中。
job_id 是 String 此SQL语句将生成并提交一个新作业,返回此作业的ID,可用于获取作业状态和作业结果。 job_type 是 String 作业类型。
不过,在从包含NULL的数组或Map进行转换时,生成的JSON将包含NULL。 在从ROW转换为JSON时,结果是一个JSON数组,而不是一个JSON对象。这是因为对于SQL中的行,位置比名称更重要。
表2 Flink作业基本信息 参数 参数说明 ID 所提交Flink作业的ID,由系统默认生成。 名称 所提交Flink作业的名称。 类型 所提交Flink作业的类型。
根据用户凭据生成相应的truststore.jks文件,并将用户凭据以及truststore.jks文件传入OBS中。 具体方式请参考客户端SSL加密功能使用说明。
指定文件输出路径与行编码格式 .forRowFormat(new Path(outputPath), new SimpleStringEncoder<String>("UTF-8")) // 指定文件输出路径批量编码格式
当前已有的样例模板包括如下场景: 利用地址信息的维表生成订单信息宽表 实时统计每天成交额、订单数和支付人数等指标 统计实时点击量最高的商品 自定义模板 自定义模板列表显示所有的jar作业模板,自定义模板列表参数说明如表 1所示。
配置DLI云服务的委托权限后会在IAM委托页面生成dli_management_agency的委托。