检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Delta 管理的所有文件，并删除不再处于表事务日志最新状态且超过保留期阈值的数据文件。默认阈值为 7 天。 注意事项 RETAIN num HOURS表示保留期阈值，建议设置为至少 7 天。 如果对 Delta 表运行VACUUM，则将无法再回头查看在指定数据保留期之前创建的版本。 Delta
可以选择配置作业名称，便于识别和筛选。 配置”应用程序”，路径指向上一步上传至OBS的Spark jar包。 配置委托。选择提交DLI作业所需的委托。自定义委托请参考创建DLI自定义委托 。 配置”主类（--class）”，为上一步中所写的，包含需要执行的main函数的类的全名。 在”Sp
上传Jar包到OBS OBS控制台 将生成的UDF函数Jar包文件上传到OBS目录下。 5 创建DLI的UDF函数 DLI控制台 在DLI控制台的SQL作业管理界面创建使用的UDF函数。 6 验证和使用DLI的UDF函数 DLI控制台 在DLI作业中使用创建的UDF函数。 操作步骤 新建Ma
(select_statement) sql_containing_cte_name; 关键字 cte_name：公共表达式的名字，不允许重名。 select_statement：完整的SELECT语句。 sql_containing_cte_name：包含了刚刚定义的公共表达式的SQL语句 注意事项 定义
DLI侧创建的Password类型的跨源认证名称。 使用跨源认证则无需在作业中配置账号和密码。 示例 从Kafka源表中读取数据，将DWS表作为维表，并将二者生成的宽表信息写入Kafka结果表中，其具体步骤如下： 参考增强型跨源连接，在DLI上根据DWS和Kafka所在的虚拟私有云
15依赖包 请在Flink作业的日志中获取Flink 1.15相关依赖包信息： 查看Flink日志。 登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击作业名称，选择“运行日志”。 控制台只展示最新的运行日志，更多日志信息请查看保存日志的OBS桶。 在日志中搜索依赖包信息。
队列绑定到当前用户 选择Flink Jar作业运行的队列 应用程序 用户自定义的程序包 自定义的程序包 主类 指定加载的Jar包类名，如FlinkDisToDisExample。 默认：根据Jar包文件的Manifest文件指定。 指定：必须输入“类名”并确定类参数列表（参数间用空格分隔）
为什么在DLI控制台中查询不到表？ OBS表压缩率较高怎么办？ 字符码不一致导致数据乱码怎么办？ 删除表后再重新创建同名的表，需要对操作该表的用户和项目重新赋权吗？ DLI分区内表导入的文件不包含分区列的数据，导致数据导入完成后查询表数据失败怎么办？ 创建OBS外表，由于OBS文件中的某字段存在换行符导致表字段数据错误怎么办？
通过在DLI控制台创建的Password类型的跨源认证，将DWS、RDS、DCS和DDS数据源的密码信息存储到DLI，无需在SQL作业中配置账号密码，安全访问DWS、RDS、DDS、DCS数据源。 Password类型跨源认证支持连接的数据源 Password类型跨源认证支持连接的数据源如表1所示。
parallel_number 否 Integer 最大并行度。 并行数为作业每个算子的并行数，适度增加并行数会提高作业整体算力，但也须考虑线程增多带来的切换开销，上限是计算单元CU数的4倍，最佳实践为计算单元CU数的1-2倍。 tm_cus 否 Integer 单个taskManagerCU数量。
OBS控制台 将生成的UDAF函数Jar包文件上传到OBS目录下。 5 创建DLI程序包 DLI控制台 选择刚上传到OBS的UDAF函数的Jar文件，由DLI进行纳管。 6 创建DLI的UDAF函数 DLI控制台 在DLI控制台的SQL作业管理界面创建使用的UDAF函数。 7 验证和使用DLI的UDAF函数
即其输入与输出是一对多的关系，读入一行数据，输出多个值。 约束限制 在DLI Console上执行UDTF相关操作时，需要使用自建的SQL队列。 不同的IAM用户使用UDTF时，除了创建UDTF函数的用户，其他用户如果需要使用时，需要先进行授权才可使用对应的UDTF函数。授权操作参考如下：
SQL从RDS数据库读取的时间和RDS数据库存储的时间为什么会不一致？ 问题描述 Flink Opensource SQL从RDS数据库读取的时间和RDS数据库存储的时间为不一致 根因分析 该问题的根因是数据库设置的时区不合理，通常该问题出现时Flink读取的时间和RDS数据库的时间会相差13小时。
DLI SDK与API的对应关系 OBS授权 表1 OBS授权相关API&SDK的对应关系表 Class Method Java Method Python Method API Authorize OBS授权 authorizeBucket - POST /v1.0/{proj
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 故障恢复 更新管理 认证证书
”栏可查看到连接的数据库信息。 通过新建的连接即可对DLI执行后续的数据查询相关工作。 步骤3：在DBeaver编写SQL查询 在DBeaver建立与DLI的连接后，即可在DBeaver编写SQL查询： 您可以在左侧的数据库导航面板中选择数据库对象，然后在中间的查询编辑器中编写SQL语句。
json数据类型的数据，输出到日志文件中。 参考增强型跨源连接，根据Kafka所在的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink弹性资源池。 设置Kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根据Kafka的地址测试队列连通
常见场景的委托权限策略 本节操作提供了DLI常见场景的委托权限策略，用于用户自定义权限时配置委托的权限策略。委托策略中的“Resource”根据需要具体情况进行替换。 数据清理委托权限配置 适用场景：数据清理委托，表生命周期清理数据及lakehouse表数据清理使用。该委托需新建
安全集群的登录密码。 Certificate路径 上传“安全证书”的OBS路径。即步骤2的OBS桶地址。 图1 创建认证信息-CSS 访问CSS的表。 跨源认证创建成功后，在创建访问CSS的表时只需关联跨源认证即可安全访问数据源。 例如在使用Spark SQL来创建访问CSS的表时使用es
DLI弹性资源池和队列类 怎样查看弹性资源池和作业的资源使用情况？ 怎样判断当前DLI队列中的作业是否有积压？ 怎样查看DLI队列负载？ 怎样监控DLI队列上的作业异常？ 怎样将老版本的Spark队列切换成通用型队列 在default队列执行DLI SQL失败，提示超时异常怎么办？
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
