检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
队列，执行自动实时监控、告警和通知操作。用户可以实时掌握队列中的运行作业网络流入速率、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率、等待作业数等信息。还可以通过云监控服务提供的管理控制台或API接口来检索数据湖探索服务产生的监控指标和告警信息。 关于DLI支持的
U数。 在全天的任意一个时间段内，弹性资源池中任意一个队列的最大CU必须小于等于弹性资源池的最大CU。 同一队列不同扩缩容策略的时间段区间不能有交集。 弹性资源池队列中的扩缩容策略时间段仅支持整点的时间段设置，并且包含设置的开启时间，不包含设置的结束时间，例如设置时间段00-09
若需要指定Redis中的key，则需要在flink的Redis结果表中定义主键，该主键的值即为key。 Redis结果表若定义主键，则不能够定义复合主键，即主键只能是一个字段，不能是多个字段。 schema-syntax取值约束： 当schema-syntax为map或array时，非主键字段最多
如果需要指定Redis中的key，则需要在flink的Redis结果表中定义主键，该主键的值即为key。 Redis结果表如果定义主键，则不能够定义复合主键，即主键只能是一个字段，不能是多个字段。 schema-syntax取值约束： 当schema-syntax为map或array时，非主键字段最多
cimal精度（9 – 6 = 3位），导致double转decimal时overflow产生null值，而对应dws表字段为非空导致插入失败。 处理步骤 修改目的表所定义的decimal精度即可解决。 父主题： 增强型跨源连接类
delta_table0` where column1 = 'value1'; 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题： Delta DML语法说明
3及以上版本的引擎执行作业时，需要在作业配置中添加新建的委托信息。 否则Spark3.3.1作业不指定委托时，无法使用OBS；Flink1.15作业不指定委托时，无法开启checkpoint、savepoint，作业提交日志无法转储，无法使用OBS、DWS等数据源。 仅有运行在弹性资源池队列上的Flink 1.15和Spark3
r); } 重载方法的参数，可以设置为“null”，表示不设置过滤条件。同时也要注意参数的合法性，例如分页参数设置为“-1”，会导致查询失败。 该SDK接口不支持sql_pattern，即通过指定sql片段作为作业过滤条件进行查询。 如果需要则可以通过查询所有作业API接口指定该参数进行查询。
hive 元存储的视图中以原子方式添加每个分区。否则，将使用添加到现有分区的新数据。 流式读取不支持 Flink DDL 中的水印语法。这些表不能用于窗口运算符。 语法格式 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
见字段转换。 图7 字段映射 单击“下一步”配置任务参数，一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能： 作业失败重试：如果作业执行失败，可选择是否自动重试，这里保持默认值“不重试”。 作业分组：选择作业所属的分组，默认分组为“DEFAULT”。在CDM“作业管理
从一个指定的时间范围开始消费来控制数据的重复接入量（例如Spark初始化完成后，Flink消费Kafka时过滤掉2小时之前的数据），如果无法对kafka消息进行过滤，则可以考虑先实时接入生成offset，再truncate table ，再历史导入，再开启实时。 图1 初始化操作流程
name = 'a2' where part0='xx' and id = 2; 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题： Delta DML语法说明
overwrite table delta_table0 select 1, 'a1', 20; 系统响应 可在执行历史或作业列表中查看任务运行成功或失败。 父主题： Delta DML语法说明
current_timestamp() - INTERVAL 1 day ZORDER BY (price); 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题： Delta DML语法说明
"connectivity": "REACHABLE" } 状态码 状态码如表3所示。 表3 状态码 状态码 描述 200 查询成功。 400 请求失败。 500 内部服务器错误。 错误码 调用接口出错后，将不会返回上述结果，而是返回错误码和错误信息，更多介绍请参见错误码。 父主题： 队列相关API（推荐）
例如：从查看弹性资源池扩缩容历史可见某一时间扩缩容异常，切换至表格形式后，如图2所示，预期扩容至80CUs，扩容前为64CUs，扩容后64CUs，扩容失败。 图1 图形化展示扩缩容历史 图2 表格形式展示扩缩容历史 父主题： 管理弹性资源池
式如下： 通过OBS下载数据文件。 通过文本编辑器打开数据文件，发现数据量缺失。 根据该验证方式，初步定位是因为文件数据量较大，文本编辑器无法全部读取。 通过执行查询语句，查询OBS数据进一步进行确认，查询结果确认数据量正确。 因此，该问题为验证方式不正确造成。 参考信息 插入数
a low retention period? 根因分析：RETAIN 保留期过短（少于168小时），需要确认是否能清理该时间前的数据，将无法再回头查看在指定数据保留期之前创建的版本。确认清理可在console页面设置中添加参数spark.databricks.delta.retentionDurationCheck
资源名。 status 否 String "UPLOADING"表示正在上传。 "READY"表示资源包已上传 。 "FAILED"表示资源包上传失败。 underlying_name 否 String 资源包在队列中的名字。 owner 否 String 资源包拥有者。 表5 modules参数
删除系统默认创建的dli_management_agency委托，否则会导致委托包含的权限自动取消，系统将无法正常获取IAM用户相关信息、或影响访问跨源所需的网络资源、无法访问SMN服务发送通知消息。 约束限制 服务授权需要主账号或者用户组admin中的子账号进行操作。 DLI服
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
