检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI经典型跨源连接生命周期 表1 DLI经典型跨源连接生命周期 功能 状态 EOM时间 EOL时间 DLI经典型跨源连接 计划下线，不推荐使用 2023年12月30日 2024年6月30日 EOM：End of Marketing，停止该功能销售。 EOL：End of life，停止所有销售、服务活动。
cluster_name 否 String DLI队列名称，不填写则获取当前Project下所有批处理作业(不推荐使用)。 queue_name 否 String DLI队列名称，根据队列查询批作业（推荐使用）。 from 否 Integer 起始批处理作业的索引号，默认从0开始。 size 否 Integer
QL作业，在DLI管理控制台提交SQL作业时选择"default队列"即可。 非弹性资源池模式（废弃，不推荐使用）： DLI的上一代计算资源管理方式，因缺乏灵活性，目前已不推荐使用。 非弹性资源池模式提供固定规格的计算资源，购买后独占资源，无法根据需求动态调整，可能会导致资源浪费或在需求高峰期资源不足。
// 默认值为5，根据业务场景指定 推荐方案 Spark/Flink流任务仅执行Schedule，然后另起一个Spark SQL任务定时仅执行Run。 Spark批任务可以直接同时执行Schedule + Run。 为了保证入湖的最高效率，推荐使用同步产生compaction调度
15及以上版本的跨源访问场景推荐使用数据加密服务DEW来存储数据源的认证信息，为您解决数据安全、密钥安全、密钥管理复杂等问题。具体操作请参考使用DEW管理数据源访问凭证。 约束和限制 在同一队列中，如果同时使用了经典型跨源连接和增强型跨源连接，则经典型跨源连接优先于增强型跨源连接。推荐使用增强型跨源连接。
SDK提供的接口函数即可实现使用提交DLI SQL和DLI Spark作业。 DLI支持的SDK分为SDK V3和DLI服务自行开发的SDK。 （推荐）DLI SDK V3：是根据定义API的YAML文件统一自动生成，其接口参数与服务的API一致。 具体操作请参考SDK V3版本开发指南。
Python SDK环境配置 操作场景 在进行二次开发时，要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统，推荐Windows 7及以上版本。 安装Python Python版本建议使用2.7.10和3.4.0以上版本，需要配置Visual C++编译环境Visual
LI与数据源的网络连通。 管理DLI具数据源的访问凭证： Spark 3.3.1及以上版本、Flink 1.15及以上版本的跨源访问场景 推荐使用数据加密服务DEW来存储数据源的认证信息，为您解决数据安全、密钥安全、密钥管理复杂等问题。 具体操作请参考使用DEW管理数据源访问凭证。
DLI支撑本地测试Spark作业吗? DLI暂不支持本地测试Spark作业，您可以安装DLI Livy工具，通过Livy工具提供的交互式会话能力调测Spark作业。 推荐使用使用Livy提交Spark Jar作业。 DLI 表(OBS表 / DLI 表 )数据支持删除某行数据吗？ DLI 表(OBS表 / DLI
务场景需求进行配置。详情操作请参考DLI自定义委托。 Flink 1.15作业管理凭据的方法： Flink OpenSource SQL中推荐使用DEW管理密码密钥等访问凭据信息。请参考Flink Opensource SQL使用DEW管理访问凭据。 Flink Jar 作业使用固定AKSK访问OBS、Flink
节。 Flink跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。 注意事项 当前只支持CSS集群7.X及以上版本，推荐使用7.6.2版本。 若未开启安全模式，无需使用任何跨源认证，即无需配置pw
OBS桶中，并在DLI管理控制台的“数据管理>程序包管理”中创建程序包，具体操作请参考创建DLI程序包。 Flink1.15推荐配置OBS中的程序包，不推荐使用DLI程序包。Flink1.15以上版本将不再支持读取DLI程序包。 主类 指定加载的Jar包类名，如KafkaMessageStreaming。
目前JDBC支持两种认证鉴权方式，Access Key/Secret Key (AK/SK)和Token，其中Token认证仅dli-jdbc-1.x版本支持。推荐使用AK/SK认证方式。 （推荐）生成AK/SK 登录DLI管理控制台。 在页面右上角的用户名的下拉列表中选择“我的凭证”。 在“我的凭证”页面，默认显示
message 否 String 系统提示信息，执行成功时，信息可能为空。 job_id 否 String 作业ID。可通过提交SQL作业（推荐）获取。 job_type 否 String 作业类型，包含DDL、DCL、IMPORT、EXPORT、QUERY、INSERT、DATA
存储类别。 DLI的作业桶设置后请谨慎修改，否则可能会造成历史数据无法查找。 前提条件 配置前，请先购买OBS桶或并行文件系统。大数据场景推荐使用并行文件系统，并行文件系统（Parallel File System）是对象存储服务（Object Storage Service，O
ter_name”指定队列仍然有效。 推荐使用“queue”参数，“queue”参数与“cluster_name”参数两者不能同时存在。 cluster_name 否 String 用于指定队列，填写已创建DLI队列的队列名称。 说明： 推荐使用“queue”参数，“queue”
数据库的唯一标识符。 格式二：jdbc:oracle:thin:@//host:port/service_name；这种方式是Oracle推荐的，对于集群来说，每个节点的SID可能不一致，但ServiceName是一致的，包含所有节点。 driver Oracle驱动类名: oracle
00:00:00（北京时间）之后将无法续订、变更队列。 EOL后，队列资源将无法继续使用，请务必在下线前更换使用“弹性资源池”或“default队列”。推荐您购买弹性资源池，并在弹性资源池中创建队列，体验更丰富的DLI产品能力。 如您有任何问题，可随时通过工单或者服务热线（4000-955-988或950808）与我们联系。
安装至本地Maven仓库的脚本及对应jar包。 dli-sdk-java.version Java SDK版本说明。 方法一：通过Maven安装DLI SDK依赖 推荐您通过Maven安装依赖的方式使用华为云 Java SDK： 安装服务级SDK依赖 首先您需要在您的操作系统中 下载 并 安装Maven 。
按大小分割：默认情况下，每个日志文件最大为128MB。 按时间分割：每过一小时自动创建新的日志文件。 前提条件 配置前，请先购买OBS桶或并行文件系统。大数据场景推荐使用并行文件系统，并行文件系统（Parallel File System）是对象存储服务（Object Storage Service，O
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
