检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
有效的策略是: fail: 如果请求失败并因此导致作业失败,则抛出异常。 ignore: 忽略失败并丢弃请求。 retry-rejected:重新添加由于队列容量饱和而失败的请求。 自定义类名:用于使用ActionRequestFailureHandler子类进行故障处理。 sink
print(log_line) 取消批处理作业 DLI提供取消批处理作业的接口。您可以使用该接口取消批处理作业。若作业已经执行结束或失败则无法取消。示例代码如下: 1 2 3 4 5 6 7 def del_spark_batch(dli_client, batch_id):
DLI作业要由用户主账户统一设置及修改,子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则,定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改,否则可能会造成历史数据无法查找。 前提条件 配置前,请先购买OBS桶或并行文件系统。大数
`obs://bucket1/dbgms/h0` drop constraint const_id; 系统响应 可在执行历史或作业列表中查看任务运行成功或失败。 父主题: Delta DDL语法说明
current_timestamp() - INTERVAL 1 day ZORDER BY (price); 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Delta DML语法说明
命令功能 通过MERGE INTO命令,根据一张表或子查询的连接条件对另外一张表进行查询,连接条件匹配上的进行UPDATE或DELETE,无法匹配的执行INSERT。这个语法仅需要一次全表扫描就完成了全部同步工作,执行效率要高于INSERT+UPDATE。 注意事项 分区表合并需要设置参数spark
SHALLOW CLONE delta_table0 VERSION AS OF 10; 系统响应 可在执行历史或作业列表中查看任务运行成功或失败。 父主题: Delta DDL语法说明
PERMISSIVE(默认):尽可能地解析bad records,如果遇到不能转换的字段,则整行为null DROPMALFORMED:忽略掉无法解析的bad records FAILFAST:遇到无法解析的记录时,抛出异常并使Job失败 BADRECORDSPATH:指定导入过程中错误记录的存储目录。
overwrite table delta_table0 select 1, 'a1', 20; 系统响应 可在执行历史或作业列表中查看任务运行成功或失败。 父主题: Delta DML语法说明
Database中的表名,由字母、数字和下划线(_)组成。 obs_path Obs路径,表示Delta表的存储位置。 timestamp_expression 时间戳,不能晚于当前时间,格式'yyyy-MM-ddTHH:mm:ss.SSS' version_code 1.3.1中查询结果中的版本号 所需权限 SQL权限
canal-json.ignore-parse-errors 否 false Boolean 当解析异常时,是跳过当前字段或行,还是抛出错误失败(默认为 false,即抛出错误失败)。如果忽略字段的解析异常,则会将该字段值设置为null。 canal-json.timestamp-format.standard
在选择桶路径后,需手动输入自定义的指定路径的目录名称,且该目录名称不存在,否则系统将返回错误的信息,无法执行导出操作。 说明: 文件夹名称不能包含下列特殊字符:\ / : * ? " < > |,并且不能以“.”开头和结尾。 例如选择存储路径obs://bucket/src1/后,需手动补充
图1 创建模板 表1 参数说明 参数名称 描述 名称 模板名称。 模板名称只能包含数字、英文字母和下划线,但不能是纯数字,不能以下划线开头,且不能为空。 输入长度不能超过50个字符。 语句 需要保存为模板的SQL语句。 描述 该模板的相应描述。 分组设置 已有分组 创建新分组 不分组
function ,需要指定一个 identifier ,可指定 language tag 。 若catalog 中,已经有同名的函数注册了,则无法注册。如果 language tag 是 JAVA 或者 SCALA ,则 identifier 是 UDF 实现类的全限定名。 如果您需
为了避免因业务修改等需要,手动重启作业后,不丢失数据: 对于无内部状态的作业,您可以配置kafka数据源的启动时间或者消费位点到作业停止之前。 对于有内部状态的作业,您可以在停止作业时,勾选“触发保存点”。成功后,再次启动作业时,开启“恢复保存点”,作业将从选择的savepoint文件中恢复消费位点及状态。同时,由于Flink
定义的间隔时间内没有事件出现,该窗口会被关闭。例如时间窗口的间隔时间是 30 分钟,当其不活跃的时间达到30分钟后,若观测到新的记录,则会启动一个新的会话时间窗口(否则该行数据会被添加到当前的窗口),且若在 30 分钟内没有观测到新纪录,这个窗口将会被关闭。会话时间窗口可以使用事
的间隔时间内没有事件出现,该窗口会被关闭。 例如时间窗口的间隔时间是 30 分钟,当其不活跃的时间达到30分钟后,如果观测到新的记录,则会启动一个新的会话时间窗口(否则该行数据会被添加到当前的窗口),且如果在 30 分钟内没有观测到新纪录,这个窗口将会被关闭。会话时间窗口可以使用
否 String 作业状态描述。 create_time 否 Long 作业创建时间。 start_time 否 Long 作业启动时间。“0”表示尚未启动。 duration 否 Long 作业运行时长。 单位ms,“show_detail”为“false”时独有。 root_id
ogg-json.ignore-parse-errors 否 false Boolean 当解析异常时,是跳过当前字段或行,还是抛出错误失败(默认为 false,即抛出错误失败)。如果忽略字段的解析异常,则会将该字段值设置为null。 debezium-json.timestamp-format
您可以在购买资源时开通自动续费,在购买资源时,自动续费周期以实际选择的续费时长为准。 在到期前均可开通自动续费,到期前7日凌晨3:00首次尝试自动续费,如果扣款失败,每天凌晨3:00尝试一次,直至到期或者续费成功。 开通自动续费后,还可以手动续费该资源。手动续费后,自动续费仍然有效,在新的到期时间前的第7天开始扣款。