检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据中的“表3 日期及时间模式字符定义”。 2000-01-01 09:00:00 错误数据存储路径 当“文件格式”为“CSV”和“JSON”时此参数有效。 选中“高级选项”,该参数表示可将错误数据保存到对应的OBS路径中。 obs://DLI/ 单击“确定”,系统开始导入数据。
查询作业日志信息,参考查看DLI SQL日志。 作业日志为日常的服务运维提供了重要保障,包括跟踪资源使用情况、检测作业运行安全性、追踪资源消耗、检测错误等。 父主题: 安全
主题管理 在对应主题的“操作”列中,单击“添加订阅”,选择“协议”,确定订阅方式。 如果选择“短信”协议,需要在“订阅终端”中填写接收确认短信的手机号码。 如果选择“邮件”协议,需要在“订阅终端”中填写接收确认邮件的邮箱地址。 更多信息,请参考《消息通知服务用户指南》中《添加订阅》章节。
状态码如表8所示。 表8 状态码 状态码 描述 200 创建成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: Spark作业相关API
选择导出的作业结果的OBS桶路径。 如果导出方式选择的是“随导出创建指定路径” 在选择桶路径后,需手动输入自定义的指定路径的目录名称,且该目录名称不存在,否则系统将返回错误的信息,无法执行导出操作。 说明: 文件夹名称不能包含下列特殊字符:\ / : * ? " < > |,并且不能以“.”开头和结尾。 例如
pyspark样例代码 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 CSS非安全集群 开发说明 代码实现详解 import相关依赖包 1 2 3 from __future__ import print_function from pyspark
backoff.strategy 否 DISABLED String 指定在任何刷新操作由于临时请求错误而失败时如何执行重试。有效的策略是: DISABLED:未执行重试,即在第一个请求错误后失败。 CONSTANT:等待重试之间的退避延迟。 EXPONENTIAL:最初等待退避延迟并在重试之间呈指数增加。
|,并且不能以“.”开头和结尾。 导出方式 导出数据的保存方式。 随导出创建指定路径:指定的导出目录必须不存在,如果指定目录已经存在,系统将返回错误信息,无法执行导出操作。 覆盖指定路径:在指定目录下新建文件,会删除已有文件。 表头:无/有 设置导出数据是否含表头。 单击“确定”即可导出数据。
BADRECORDSPATH:指定导入过程中错误记录的存储目录。 OPTIONS('BADRECORDSPATH'='obs://bucket/path') 配置该选项后,MODE不可配,固定为"DROPMALFORMED",即将能够成功转换的记录导入到目标表,而将转换失败的记录存储到指定错误记录存储目录。 注意事项
指定使用格式,此处使用'maxwell-json'。 maxwell-json.ignore-parse-errors 否 false Boolean 跳过解析错误而不是失败的字段和行。出现错误时,字段设置为空。 maxwell-json.timestamp-format.standard 否 'SQL' String
但是DROP TABLE不能用来删除VIEW。 注意事项 所要删除的视图必须是已经存在的,否则会出错,可以通过IF EXISTS来避免该错误。 示例 删除名为student_view的视图。 1 DROP VIEW student_view; 父主题: 视图相关
Upsert Kafka源表 功能描述 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。 作为 source,upsert-kafka 连接器生产changel
Upsert Kafka结果表 功能描述 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。DLI将Flink作业的输出数据以upsert的模式输出到Kafka中。
Confluent Avro Format 功能描述 Avro Schema Registry (avro-confluent) 格式能让您读取被 io.confluent.kafka.serializers.KafkaAvroSerializer 序列化的记录,以及可以写入成能被
禁止通过Alter命令修改表关键属性信息:type/primaryKey/preCombineField/hoodie.index.type 错误示例,执行如下语句修改表关键属性: alter table dsrTable set tblproperties('type'='xx');
dd代表天。 hh代表小时。 mi代表分钟。 ss代表秒。 返回值说明 返回BIGINT类型。 date非DATE或STRING类型时,返回报错,错误信息:data type mismatch; date为DATE或STRING类型,但不符合日期值的入参格式时,返回NULL; datepart值为NULL时,返回NULL。
hh:mi:ss yyyy-mm-dd hh:mi:ss.ff3 返回值说明 返回INT类型 date非DATE或STRING类型时,返回报错,错误信息:data type mismatch。 date为DATE或STRING类型,但不符合日期值的入参格式时,返回NULL。 date值为NULL时,返回NULL。
200 删除变量成功。 400 输入参数无效。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 表4 错误码 错误码 错误信息 DLI.0001 参数校验错误 DLI.0999 服务端系统错误 父主题: 全局变量相关API
error, please contact technical support." } ] } 状态码 状态码 描述 200 OK 错误码 请参见错误码。 父主题: 弹性资源池相关API
hh:mi:ss yyyy-mm-dd hh:mi:ss.ff3 返回值说明 返回INT类型。 date非DATE或STRING类型时,返回报错,错误信息:data type mismatch。 date为DATE或STRING类型,但不符合日期值的入参格式时,返回NULL。 date值为NULL时,返回NULL。