检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Strings OBS桶名列表。 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 消息内容。 请求示例 授权OBS桶bucket1的操作权限给D
table.sql-dialect 属性指定 1 set table.sql-dialect=hive; 注意事项 Hive方言只能用于操作Hive对象，并要求当前Catalog是一个HiveCatalog 。 Hive方言只支持db.table这种两级的标识符，不支持带有Catal
Spark作业使用咨询 DLI Spark作业是否支持定时周期任务作业 DLI Spark不支持作业调度，用户可以通过其他服务，例如数据湖管理治理中心DataArts Studio服务进行调度，或者通过API/SDK等方式对作业进行自定义调度 。 使用DataArts Studi
} 访问和使用OBS的权限策略 适用场景：DLI Flink作业下载OBS对象、OBS/DWS数据源（外表）、日志转储、使用savepoint、开启checkpoint，DLI Spark作业下载OBS对象、读写OBS外表。 { "Version": "1.1",
该作业提交后，作业状态变成“运行中”，后续您可通过如下操作查看输出结果。 方法一： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 在对应Flink作业所在行的“操作”列，选择“更多 > FlinkUI”。 在FlinkUI界面，选择“Task Managers”，单击对应的任务名称，选择“Stdout”查看作业运行日志。
状态值必须是 boolean、integer、 floating-point或date、time、interval。 父主题： SQL函数和操作符
HBase，请在增强型跨源的主机信息中添加MRS集群所有节点的主机IP信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。 注意事项 创建Flink
HBase，请在增强型跨源的主机信息中添加MRS集群所有节点的主机IP信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。 注意事项 创建Flink
Hudi Clean操作说明 什么是Clean Cleaning用于清理Hudi表不再需要的老版本数据文件 (parquet文件或者log文件)，减轻存储压力，提升list操作效率。 如何执行Clean 写完数据后clean Spark SQL（设置如下参数，随后执行任意写入SQL时，在满足条件时触发）
[ WHERE boolExpression] 参数描述 表1 DELETE参数 参数 描述 tableIdentifier 在其中执行删除操作的Hudi表的名称。 boolExpression 删除项的过滤条件 示例 示例1： delete from h0 where column1
DLI服务提供基于云监控服务CES的资源监控能力 DLI已对接云监控服务，提供基于云监控服务的资源监控能力，帮助用户监控账号下的DLI队列，执行自动实时监控、告警和通知操作。用户可以实时掌握队列中的运行作业网络流入速率、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率、等待作业数等信息。还可以通
verifyBucketExists on {{桶名}}: status [403]。 解决措施 请检查OBS桶权限，确保账号有权限访问报错信息中提到的OBS桶。 如果没有，需要联系OBS桶的管理员添加桶的访问权限。 父主题： SQL作业运维类
12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 创建MRS的ClickHouse集群，集群版本选择MRS 3.1.0及以上版本，且勿开启kerberos认证。 ClickHouse结果表不支持删除表数据操作。 Flink中支持字段类型范围为：stri
效力：允许 授权资源：按需授权桶和对象。 授权操作：与2中Action一致 常用检查项： 检查是否配置了所有账号的某些拒绝操作，且这些操作是上述DLI所需要的授权操作。 检查是否对DLI的被授权用户配置了某些拒绝操作，且这些操作是上述DLI所需要的授权操作。 父主题： DLI权限管理类
的业务风险。 本例以获取访问OBS的AKSK为例介绍Flink Jar使用DEW获取访问凭证读写OBS的操作指导。 前提条件 已在DEW服务创建通用凭证，并存入凭据值。具体操作请参考：创建通用凭据。 已创建DLI访问DEW的委托并完成委托授权。该委托需具备以下权限： DEW中的查
此处是truststore.jks文件的设置参数，与keystore.jks文件的设置参数基本一致，按照keystore.jks文件设置步骤进行操作即可。 父主题： 对接CSS
timestamp进行过滤，如果没有指定end.timestamp，则只需要根据start.timestamp进行过滤。 提交其他SQL时，需要清除上述配置参数，避免影响其他任务执行结果。 父主题： Spark on Hudi开发规范
//调用Database对象的listAllTables接口查询所有表 List<Table> tables = database.listAllTables(); for (Table table : tables) { //遍历表，调用Table对象的deleteTable接口删除表
sink算子的并行度。默认情况下，并行度是由框架决定，即与上游并行度一致。 分区扫描功能介绍 为了加速Source任务实例中的数据读取，Flink为JDBC表提供了分区扫描功能。以下参数定义了从多个任务并行读取时如何对表进行分区。 scan.partition.column：用于对输入进行分区的列
ON NULL ]) 通过将键值表达式聚合到单个JSON对象中来构建JSON对象字符串。 键表达式必须返回一个不可为空的字符串。值表达式可以是任意的，包括其他JSON函数。如果值为NULL，则ON NULL行为定义要执行的操作。如果省略，则默认为NULL ON NULL。 注意ke
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
