检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不支持(推荐使用:TEXT) 不支持(推荐使用:VARCHAR) 不支持(推荐使用:TEXT) 不支持(推荐使用:TEXT) STRUCT 推荐使用:表示当前服务没有支持的标准数据类型,可以使用推荐的数据类型来替换使用。 父主题: 数据迁移
建议您按以下顺序排查原因。 可能原因 处理措施 未购买对应的套餐包 请参考判断是否经购买了对应的套餐包 套餐包额度已用完 请参考判断套餐包额度是否超出 购买的套餐包没有涵盖到DLI所有计费项 请参考判断是否产生了套餐包未涵盖的计费项 如果处理完某个可能原因仍未解决问题,请继续排查其他可能原因。 判断是否经购买了对应的套餐包
说明: 该字段仅Spark3.1.1版本的功能适用。 返回值说明 返回STRING类型的值。 如果pattern为空串或pattern中没有分组,返回报错。 当引用不存在的组时,不进行替换。 如果replace_string值为NULL且pattern有匹配,返回NULL。 如
rowtime_column AS rowtime_column。 发出到目前为止已观察到的最大时间戳的 watermark ,时间戳大于最大时间戳的行被认为没有迟到。 递增时间戳: WATERMARK FOR rowtime_column AS rowtime_column - INTERVAL '0
Caused by: java.net.SocketTimeoutException: connect timed out A:应考虑是跨源没有绑定,或者跨源没有绑定成功。 参考增强型跨源连接章节,重新配置跨源。参考DLI跨源连接DWS失败进行问题排查。 Q:如果该DWS表在某schema下,则应该如何配置?
Caused by: java.net.SocketTimeoutException: connect timed out A:应考虑是跨源没有绑定,或者跨源没有绑定成功。 参考增强型跨源连接章节,重新配置跨源。参考DLI跨源连接DWS失败进行问题排查。 Q:如果该DWS表在某schema下,则应该如何配置?
Caused by: java.net.SocketTimeoutException: connect timed out A:应考虑是跨源没有绑定,或者跨源没有绑定成功。 参考增强型跨源连接章节,重新配置跨源。参考DLI跨源连接DWS失败进行问题排查。 Q:如果该DWS表在某schema下,则应该如何配置?
只适用于“用户授权”的权限包括: 显示所有表:显示当前数据库下的所有表。 说明: 没有授权“显示所有表”权限,则该数据库在库表管理中不显示该数据库下的所有表。 显示数据库:显示当前数据库的信息。 说明: 没有授权“显示数据库”权限,则该数据库在库表管理中不显示。 继承权限 选中权限即对
名称 默认值 描述 spark.sql.files.maxRecordsPerFile 0 要写入单个文件的最大记录数。如果该值为零或为负,则没有限制。 spark.sql.shuffle.partitions 200 为连接或聚合过滤数据时使用的默认分区数。 spark.sql.d
Access Management,简称IAM)细粒度鉴权,可以通过在IAM创建策略来管理DLI的权限控制。两种权限控制机制可以共同使用,没有冲突。 发布区域:全部 创建用户并授权使用DLI DLI自定义策略 DLI常用操作与系统权限关系 OBS 2.0支持弹性资源池和队列 使用
大约在凌晨4点到7点这个数据段,ETL作业任务结束后没有其他作业,因为资源固定一直占用,导致严重的资源浪费。 上午9点到12点以及下午14点16点的两个时段,ETL报表和作业查询的请求量很高,因为当前固定资源不够,导致作业任务排队,任务一直排队。 图2 固定资源场景 场景二:资源相互隔离,没有共享,造成资源浪费的场景
Flink Jar作业开发指南 流生态作业开发指引 Flink Jar作业开发基础样例 使用Flink Jar写入数据到OBS开发指南 使用Flink Jar连接开启SASL_SSL认证的Kafka 使用Flink Jar读写DIS开发指南
使用DLI的跨源认证管理数据源访问凭证 跨源认证概述 创建CSS类型跨源认证 创建Kerberos跨源认证 创建Kafka_SSL类型跨源认证 创建Password类型跨源认证 跨源认证权限管理 父主题: 配置DLI读写外部数据源数据
Caused by: java.net.SocketTimeoutException: connect timed out A:应考虑是跨源没有绑定,或者跨源没有绑定成功。 参考增强型跨源连接章节,重新配置跨源。参考DLI跨源连接DWS失败进行问题排查。 Q:如果该DWS表在某schema下,应该如何配置?
DLI表为MANAGED View为VIEW partition_columns 否 Array of Strings 分区字段。只有OBS分区表有该参数,其他表没有该参数。 page-size 否 Integer 分页大小,最小为1,最大为100。 current-page 否 Integer 当前页码,最小为1。
进入Flink作业管理页面。 单击页面右上角的搜索框,选择“标签”。 图3 标签搜索 在标签搜索中,根据提示选择“标签键”和标签值。如果没有可用的标签键和值,请先为作业创建标签,具体参见管理作业标签。 在搜索框中继续选择其他标签,可添加不同标签组合搜索。支持最多20个不同标签的
Caused by: java.net.SocketTimeoutException: connect timed out A:应考虑是跨源没有绑定,或者跨源没有绑定成功。 参考增强型跨源连接章节,重新配置跨源。参考DLI跨源连接DWS失败进行问题排查。 Q:如果该DWS表在某schema下,应该如何配置?
Caused by: java.net.SocketTimeoutException: connect timed out A:应考虑是跨源没有绑定,或者跨源没有绑定成功。 参考增强型跨源连接章节,重新配置跨源。参考DLI跨源连接DWS失败进行问题排查。 Q:如果该DWS表在某schema下,应该如何配置?
Upsert Kafka结果表 功能描述 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。DLI将Flink作业的输出数据以upsert的模式输出到Kafka中。
Upsert Kafka源表 功能描述 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。 作为 source,upsert-kafka 连接器生产changel