检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1。 表1 Spark 3.3.1版本优势 特性 说明 Native性能加速 Spark查询语句性能提升。 元数据访问性能提升 提升Spark在处理大数据时的元数据访问性能，提高数据处理流程效率。 提升OBS committer小文件写性能 提升对象存储服务（OBS）在处理小文件写入时的性能，提高数据传输效率。
name=agencyname 更多Spark Jar 使用DEW获取访问凭证读写OBS示例请参考Spark Jar 使用DEW获取访问凭证读写OBS 步骤4：创建自定义委托允许DLI访问DEW读取凭证 登录管理控制台。 单击右上方登录的用户名，在下拉列表中选择“统一身份认证”。 在左侧导航栏中，单击“委托”。
增强型跨源连接相关API 创建增强型跨源连接 删除增强型跨源连接 查询增强型跨源连接列表 查询增强型跨源连接 绑定队列 解绑队列 修改主机信息 查询增强型跨源授权信息 创建路由 删除路由
了DWS集群。 如何创建DWS集群，请参考《数据仓库服务管理指南》中“创建集群”章节。 请确保已创建DWS数据库表。 该场景作业需要运行在DLI的独享队列上，因此要与DWS集群建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。
创建DLI表关联Oracle之前需要创建增强型跨源连接。 管理控制台操作请参考增强型跨源连接。 由于仅支持增强型跨源方式连接Oracle，且仅按需专属队列和包周期队列支持增强型跨源。因此仅按需专属队列和包周期队列支持在SQL作业中连接Oracle数据库。 语法格式 1 2 3 4 5
通过DLI跨源连接访问DWS数据请参考《跨源分析开发方式参考》。 与数据治理中心（DataArts Studio）的关系 在数据治理中心DataArts Studio中，数据开发是一个一站式的大数据协同开发平台，提供全托管的大数据调度能力。它可管理多种大数据服务，极大降低用户使用大数据
说明 适用场景 重置规则 扫描数据量套餐包 按照用户每个作业的数据扫描量（单位为“GB”）收取计算费用。 仅适用于default 队列。 扫描数据量套餐的额度按订购周期会重置。 弹性资源池CU时套餐包 按照“CU时”收取计算费用，用户在弹性资源池添加的队列上运行作业时按照弹性资源池CU时计费。
JOIN：只显示参与连接的表中满足JOIN条件的记录。 注意事项 所要进行JOIN连接的表必须是已经存在的表，否则会出错。 在一次查询中可以连接两个以上的表。 示例 通过将student_info与course_info两张表中的课程编号匹配建立JOIN连接，来查看学生姓名及所选课程名称。
作业日志的操作方法。 使用须知 请勿将该DLI作业桶绑定的OBS桶用作其它用途，避免出现作业结果混乱等问题。 DLI作业要由用户主账户统一设置及修改，子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则，定时删除桶中的对象或者定时转换对象的存储类别。
使用客户端工具连接DLI 使用JDBC提交SQL作业 使用Spark-submit提交Spark Jar作业 使用Livy提交Spark Jar作业
DLI将Flink作业的输出数据写入数据接入服务（DIS）中。适用于将数据过滤后导入DIS通道，进行后续处理的场景。 数据接入服务（Data Ingestion Service，简称DIS）为处理或分析流数据的自定义应用程序构建数据流管道，主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可
经典型跨源连接相关API（废弃） 创建经典型跨源连接 删除经典型跨源连接 查询经典型跨源连接列表 查询经典型跨源连接 父主题： 历史API
1版本有哪些优势？ 表1 Spark 3.3.1版本优势 特性 说明 Native性能加速 Spark查询语句性能提升。 元数据访问性能提升 提升Spark在处理大数据时的元数据访问性能，提高数据处理流程效率。 提升OBS committer小文件写性能 提升对象存储服务（OBS）在处理小文件写入时的性能，提高数据传输效率。
1版本有哪些优势？ 表1 Spark 3.3.1版本优势 特性 说明 Native性能加速 Spark查询语句性能提升。 元数据访问性能提升 提升Spark在处理大数据时的元数据访问性能，提高数据处理流程效率。 提升OBS committer小文件写性能 提升对象存储服务（OBS）在处理小文件写入时的性能，提高数据传输效率。
隐式连接 功能描述 与内连接功能相同，返回两表中满足WHERE条件的结果集，但不用JOIN显示指定连接条件。 语法格式 1 2 SELECT table_reference.col_name, table_reference.col_name, ... FROM table_reference
增强型跨源连接相关API（废弃） 创建路由（废弃） 删除路由（废弃） 父主题： 历史API
作业日志的操作方法。 使用须知 请勿将该DLI作业桶绑定的OBS桶用作其它用途，避免出现作业结果混乱等问题。 DLI作业要由用户主账户统一设置及修改，子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则，定时删除桶中的对象或者定时转换对象的存储类别。
Strings 角色。目前只支持： obs_adm：DLI获得访问和使用OBS的委托权限。 dis_adm：访问和使用DIS数据源，需要获得访问和使用DIS（数据接入服务）DIS Administrator权限。 ctable_adm：访问和使用CloudTable（表格存储服务）的CloudTable
在同一队列中，如果同时使用了经典型跨源连接和增强型跨源连接，则经典型跨源连接优先于增强型跨源连接。推荐使用增强型跨源连接。 DLI提供的default队列不支持创建跨源连接。 Flink作业访问DIS，OBS和SMN数据源，无需创建跨源连接，可以直接访问。 增强型跨源仅支持包年包月队列、按需计费模式下的专属队列。
（可选）步骤三：创建增强型跨源连接 本示例演示的操作需要跨源连接RDS外部数据源，所以需要创建跨源连接。如果作业不需要连接外部数据源，则该步骤可以跳过。 登录RDS控制台，创建RDS数据库实例。 具体操作请参见购买RDS for MySQL实例。 登录RDS实例后，单击“新建数据库”，创建名称为“test2”的数据库。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
