检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
extends RichSinkFunction< Tuple2<Boolean, Row>>{},需重点实现其中的open、invoke和close函数。代码参考示例如下: public class MySink extends RichSinkFunction<Tuple2<Boolean
终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询所有服务的终端节点。 数据湖探索的终端节点如下表所示,请您根据业务需要选择对应区域的终端节点。 表1 数据湖探索的终端节点 区域名称 区域 终端节点(Endpoint)
_cus)/(cu_number-manager_cu_number)”。 operator_config 否 String 算子的并行度配置。 resume_checkpoint 否 Boolean 异常重启是否从checkpoint恢复。 resume_max_num 否 Integer
数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DLI将Flink作业从数据仓库服务(DWS)中读取数据。DWS数据库内核兼容PostgreSQL,PostgreSQL数据库可存
API进行的作业提交的封装,以简化用户的开发工作。用户直接调用DLI SDK提供的接口函数即可实现使用提交DLI SQL和DLI Spark作业。 DLI支持的SDK分为SDK V3和DLI服务自行开发的SDK。 (推荐)DLI SDK V3:是根据定义API的YAML文件统一自动生成,其接口参数与服务的API一致。
Flink作业性能调优类 Flink作业推荐配置指导 Flink作业性能调优 Flink作业重启后,如何保证不丢失数据? Flink作业运行异常,如何定位 Flink作业重启后,如何判断是否可以从checkpoint恢复 DLI Flink作业提交运行后(已选择保存作业日志到OB
确认客户esdk-obs-java-3.1.3.jar的版本。 确认是集群存在问题。 处理步骤 设置依赖关系provided。 重启clusteragent应用集群升级后的配置。 去掉OBS依赖,否则checkpoint会写不进OBS。 父主题: Flink Jar作业类
MERGE INTO参数 参数 描述 database_name Database名称,由字母、数字和下划线(_)组成。 table_name Database中的表名,由字母、数字和下划线(_)组成。 bucket_name obs桶名称。 tbl_path Delta表在obs桶中的存储位置。
DLI请求条件 您可以在创建自定义策略时,通过添加“请求条件”(Condition元素)来控制策略何时生效。请求条件包括条件键和运算符,条件键表示策略语句的 Condition 元素,分为全局级条件键和服务级条件键。全局级条件键(前缀为g:)适用于所有操作,服务级条件键(前缀为服
'SELECT'. 解决措施 出现该问题的原因是由于当前用户没有该表的查询权限。 您可以进入“数据管理 > 库表管理”查找对应库表,查看权限管理,是否配置该账号的查询权限。 授权方式请参考资料表权限管理。 父主题: DLI权限管理类
COMMENT:对数据库的描述。 DBPROPERTIES:数据库的属性,且属性名和属性值成对出现。 参数说明 表1 参数说明 参数 描述 db_name 数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。 db_comment 数据库描述。 property_name
'print-identifier' = '', --配置数据前缀 'standard-error' = 'false', --输出数据到taskmanager的out文件中 'sink.parallelism' = '2' --配置并行度 ); insert into printSink
数据的具体格式通过调用ImportJob对象的setCsvFormatInfo接口进行设置。 在提交导入作业前,可选择设置导入数据的分区并配置是否是overwrite写入,分区信息可以调用ImportJob对象的setPartitionSpec接口设置,如:importJob.setPartitionSpec(new
传输效率。 动态Executor shuffle数据优化 提升资源扩缩容的稳定性,当shuffle文件不需要时清理Executor。 支持配置小文件合并 使用SQL过程中,生成的小文件过多时,会导致作业执行时间过长,且查询对应表时耗时增大,建议对小文件进行合并。 参考如何合并小文件完成合并小文件。
DliException as e: print(e) return print(table) 完整样例代码和依赖包说明请参考:Python SDK概述。 创建OBS表 DLI提供创建OBS表的接口。您可以使用该接口创建数据存储在OBS的表。示例代码如下:
TRUE。 value1 IS DISTINCT FROM value2 BOOLEAN value1和value2的数据类型和值不完全相同返回 TRUE。 value1和value2的数据类型和值都相同返回 FALSE。 将 NULL 视为相同。 例如: 1 IS DISTINCT FROM
compaction命令时,禁止将hoodie.run.compact.only.inline设置成false,该值需要设置成true。 错误示例: 配置参数 hoodie.run.compact.only.inline=false 随后执行SQL run compaction on dsrTable;
队列,执行自动实时监控、告警和通知操作。用户可以实时掌握队列中的运行作业网络流入速率、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率、等待作业数等信息。还可以通过云监控服务提供的管理控制台或API接口来检索数据湖探索服务产生的监控指标和告警信息。 关于DLI支持的
指定使用的格式,此处应为"parquet"。 parquet.utc-timezone 否 false Boolean 使用 UTC 时区或本地时区在纪元时间和 LocalDateTime 之间进行转换。Hive 0.x/1.x/2.x 使用本地时区,但 Hive 3.x 使用 UTC 时区。 数据类型映射
口: 登录MRS管理控制台,选择“集群名称 > 组件管理 > ClickHouse > 服务配置”,角色选择“ClickHouseBalancer”,搜索“lb_http_port”配置参数值。默认为:21425。 数据库名为ClickHouse集群创建的数据库名称。 connector