检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
影响 DLI Spark 2.3.2版本停止服务（EOS）后，不再提供该软件版本的任何技术服务支持。建议您在执行作业时选择新版本的Spark引擎，推荐使用DLI Spark 3.3.1版本。
影响 DLI Flink 1.10、Flink1.11版本停止服务（EOS）后，不再提供该软件版本的任何技术服务支持。建议您在执行作业时选择新版本的Flink引擎，推荐使用DLI Flink 1.15版本。
DLI SDK简介 DLI SDK简介 数据湖探索服务软件开发工具包（DLI SDK，Data Lake Insight Software Development Kit）是对DLI服务提供的REST API进行的作业提交的封装，以简化用户的开发工作。
影响 DLI Flink 1.7版本停止服务（EOS）后，不再提供该软件版本相关的任何技术服务支持。建议您在执行作业时选择新版本的Flink引擎，推荐使用DLI Flink 1.15版本。
tags 否 String 标签名列表。单个标签为k=v，多个标签以“，”分隔。示例tag1=v1,tag2=v2。 带入query参数的URL示例如下： GET /v2.0/{project_id}/datasource/enhanced-connections?
连接信息： 表1 连接信息 类别 说明 获取方式 DLI AKSK AK/SK认证就是使用AK/SK对请求进行签名，从而通过身份认证。 获取AK/SK DLI Endpoint地址 地区与终端节点，即云服务在不同Region有不同的访问域名。
使用Dockerfile将作业运行需要的依赖（文件、jar包或者软件）打包到镜像中，生成自定义镜像。 将镜像发布到SWR（容器镜像服务）中。 在DLI服务作业编辑页面选择自己生成的镜像，运行作业。 查看作业执行情况。
识别符合Clustering条件的文件：根据所选的Clustering策略，调度逻辑将识别符合Clustering条件的文件。 根据特定条件对符合Clustering条件的文件进行分组。每个组的数据大小应为targetFileSize的倍数。分组是计划中定义的"策略"的一部分。
Ogg Format 功能描述 Oracle GoldenGate (a.k.a ogg) 是一个实现异构 IT 环境间数据实时数据集成和复制的综合软件包。 该产品集支持高可用性解决方案、实时数据集成、事务更改数据捕获、运营和分析企业系统之间的数据复制、转换和验证。
用于项目管理，贯穿软件开发生命周期。 开发流程 DLI下UDAF函数开发流程参考如下： 图1 UDAF开发流程 表2 开发流程说明 序号 阶段 操作界面 说明 1 新建Maven工程，配置pom文件 IntelliJ IDEA 参考操作步骤说明，编写UDAF函数代码。
分组设置和组名称根据情况选择设置，方便后续识别和管理程序包。 单击“确定”，完成创建程序包。 图11 创建程序包 创建DLI的UDTF函数。 登录DLI管理控制台，单击“SQL编辑器”，执行引擎选择“spark”，选择已创建的SQL队列和数据库。
WHERE (rownum = 1 | rownum <=1 | rownum < 2)： 优化器通过 rownum = 1 | rownum <=1 | rownum < 2 来识别查询能否被翻译成窗口去重。
可以选择配置作业名称，便于识别和筛选。 配置”应用程序”，路径指向上一步上传至OBS的Spark jar包。 配置委托。选择提交DLI作业所需的委托。自定义委托请参考创建DLI自定义委托 。
Serverless资源开箱即用： Serverless服务模式无需关注底层配置、软件更新和故障问题，资源易维护，易扩展。 多种资源类型满足不同场景业务需求： 共享资源池：按量计费，提供极致的性价比资源。 独享资源池：提供独享资源池，满足高性能资源需求。
用于项目管理，贯穿软件开发生命周期。 开发流程 DLI进行Spark Jar作业开发流程参考如下： 图1 Spark Jar作业开发流程 表2 开发流程说明 序号 阶段 操作界面 说明 1 创建DLI通用队列 DLI控制台 创建作业运行的DLI队列。
在该日期之后，不再提供该软件版本的任何技术服务支持。 父主题： 版本支持公告
除了ROW类型的列，剩下的原子数据类型字段（比如，STRING, BIGINT）将被识别为HBase的rowkey，一张表中只能声明一个rowkey。rowkey字段的名字可以是任意的，如果是保留关键字，需要用反引号进行转义。
除了ROW类型的列，剩下的原子数据类型字段（比如，STRING, BIGINT）将被识别为HBase的rowkey，一张表中只能声明一个rowkey。rowkey字段的名字可以是任意的，如果是保留关键字，需要用反引号进行转义。
用于项目管理，贯穿软件开发生命周期。 开发流程 DLI进行Spark作业访问DLI元数据开发流程参考如下： 图1 Spark作业访问DLI元数据开发流程 表2 开发流程说明 序号 阶段 操作界面 说明 1 创建DLI通用队列 DLI控制台 创建作业运行的DLI队列。
除了 ROW 类型的列，剩下的原子数据类型字段（比如，STRING, BIGINT）将被识别为 HBase 的 rowkey，一张表中只能声明一个 rowkey。rowkey 字段的名字可以是任意的，如果是保留关键字，需要用反引号。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
