检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该配置项用于启用或禁用动态分区修剪。在执行SQL查询时，动态分区修剪可以帮助减少需要扫描的数据量，提高查询性能。 配置为true时，代表启用动态分区修剪，SQL会在查询中自动检测并删除那些不满足WHERE子句条件的分区，适用于在处理具有大量分区的表时。 如果SQL查询中包含大量的嵌套left jo
key2=val2, ...) 语法说明 IF NOT EXISTS 如果数据库已经存在，则不会进行任何操作。 WITH OPTIONS 数据库属性一般用于存储关于这个数据库额外的信息。 表达式 key1=val1中的键和值都是字符串文本常量。 父主题： DDL语法定义
作业执行成功，但无数据。 原因分析 查看客户作业脚本内容，排查无问题，作业执行成功，出现该问题可能的原因如下： 数据不准确。 数据处理有问题。 处理步骤 在Flink UI查看task日志，发现报错中提到json体，基本确定原因为数据格式问题。 排查客户实际数据，发现客户Kafk
是，执行7。RDS和DWS实例在同一VPC和子网，不用再重复创建增强型跨源连接。 否，执行5。RDS和DWS实例分别在两个VPC和子网下，则要分别创建增强型跨源连接打通网络。 登录DLI管理控制台，在左侧导航栏单击“跨源管理”，在跨源管理界面，单击“增强型跨源”，单击“创建”。 在增强型跨源创建界面，配置具体的跨源连接参数。具体参考如下。
若该函数已经存在，则不会进行任何操作。 LANGUAGE JAVA|SCALA Language tag 用于指定 Flink runtime 如何执行这个函数。目前，只支持 JAVA 和 SCALA，且函数的默认语言为 JAVA。 示例 创建一个名为STRINGBACK的函数 create
请务必确保您的账户下已在云搜索服务里创建了集群。如何创建集群请参考《云搜索服务用户指南》中创建集群章节。 该场景作业需要运行在DLI的独享队列上，因此要与云搜索服务建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组
保存SQL模板 功能介绍 该接口用于存储指定的SQL语句，后续可以重复使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式： POST /v1.0/{project_id}/sqls 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id
事务日志来跟踪这些文件，并通过读取所有 Parquet 文件的页脚来自动推断数据架构。 转换过程会收集统计信息，以提升转换后的 Delta 表的查询性能。 如果提供表名，则元存储也将更新，以反映该表现在是 Delta 表。 注意事项 分区表转换需要设置参数spark.sql.forcePartitionPredic
parameters) throws Exception {} @Override //业务数据处理逻辑具体实现 /*in包括两个值，其中第一个值为布尔型，为true或false，当true时表示插入或更新操作，为false时表示删除操作，若对接的sink端不支
Spark作业相关API 创建批处理作业 查询批处理作业列表 查询批处理作业详情 查询批处理作业状态 取消批处理作业
上传数据到OBS桶：通过OBS管理控制台或者使用命令行工具将存储在sftp中的文件数据上传到OBS桶中。 Spark读取OBS文件数据，详见使用Spark Jar作业读取和查询OBS数据。 配置Spark作业：配置Spark作业访问OBS中存储的数据。 提交Spark作业：完成作业编写后，提交并执行作业。
都需要执行。Clean操作的目的是为了清理旧版本文件（Hudi不再使用的数据文件），这不但可以节省Hudi表List过程的时间，也可以缓解存储压力。 规则 Hudi表必须执行Clean。 对于Hudi的MOR、COW表，都需要开启Clean。 Hudi表在写入数据时会自动判断是否
从键值对列表构建JSON对象字符串。 请注意，键必须是非NULL字符串文字，而值可以是任意表达式。 函数返回一个JSON字符串。ON NULL行为定义了如何处理NULL值。如果省略，则默认为NULL ON NULL。 从另一个JSON构造函数调用（JSON_OBJECT,JSON_ARRAY）创
"is_success": "true", "message": "IEF系统事件处理成功" } 状态码 状态码如表5所示。 表5 状态码 状态码 描述 200 IEF 系统事件处理成功。 400 请求错误。 错误码 调用接口出错后，将不会返回上述结果，而是返回错误码和错误信息，更多介绍请参见错误码。
PI参考》>《创建批处理作业》。 提交作业时，需要指定Module模块，名称为：sys.datasource.css。 通过控制台提交作业请参考《数据湖探索用户指南》中的“选择依赖资源参数说明”。 通过API提交作业请参考《数据湖探索API参考》>《创建批处理作业》中“表2-请求
urce语法的CTAS创建table1_ctas。 此外，本例中table1DLI表的存储格式为orc，而table1_ctas表的存储格式可以为orc或者parquet，即CTAS创建的表存储格式可以不同于原表。 在AS关键字后使用SELECT语句选择需要的数据插入到table1_ctas表中。
创建Password类型跨源认证 操作场景 通过在DLI控制台创建的Password类型的跨源认证，将DWS、RDS、DCS和DDS数据源的密码信息存储到DLI，无需在SQL作业中配置账号密码，安全访问DWS、RDS、DDS、DCS数据源。 Password类型跨源认证支持连接的数据源 P
若该函数已经存在，则不会进行任何操作。 LANGUAGE JAVA|SCALA Language tag 用于指定 Flink runtime 如何执行这个函数。目前，只支持 JAVA 和 SCALA，且函数的默认语言为 JAVA。 示例 创建一个名为STRINGBACK的函数 create
SQL作业开发类 SQL作业使用咨询 如何合并小文件 DLI如何访问OBS桶中的数据 创建OBS表时怎样指定OBS路径 关联OBS桶中嵌套的JSON格式数据如何创建表 count函数如何进行聚合 怎样将一个区域中的DLI表数据同步到另一个区域中？ SQL作业如何指定表的部分字段进行表数据的插入
边缘Flink作业Action回调（废弃） 功能介绍 该API用于处理IEF Flink作业action回调信息。 DLI不再支持边缘作业场景的API调用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1/{project_id}/edgesrv/messages
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
