检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Boolean 是否开启作业日志。 开启：true 关闭：false 默认：false obs_bucket 否 String 当“log_enabled”为“true”时, 用户授权保存作业日志的OBS桶名。 smn_topic 否 String 当作业异常时，向该SMN主题推送告警信息。
DLI Flink 1.7版本停止服务（EOS）公告 公告说明 华为云于2022年12月31 00:00（北京时间）将DLI Flink 1.7版本停止服务（EOS）。 影响 DLI Flink 1.7版本停止服务（EOS）后，不再提供该软件版本相关的任何技术服务支持。建议您在执
身份认证服务（Identity and Access Management，简称IAM），具体IAM使用场景可以参考权限管理概述。 如果华为云账号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用DLI服务的其它功能。 本章节介绍创建IAM用户并授权使用DLI的方法，操作流程如图1所示。
典型场景示例：配置DLI与内网数据源的网络联通 背景信息 DLI与内网数据源的网络联通通常指的是华为云内部服务的场景，例如DLI连接MRS、RDS、CSS、Kafka、DWS时，需要打通DLI和外部数据源之间的网络。使用DLI提供的增强型跨源连接，采用对等连接的方式打通DLI与目的数据源的VPC网络，实现数据互通。
查询作业状态API，从而获取该异步操作API最终是否执行成功。 同时数据湖探索还提供多种编程语言的SDK供您使用，SDK的使用方法请参见华为云开发工具包（SDK）。 父主题： API使用前必读
更新管理 更新漏洞 DLI云服务通过华为云安全公告密切跟踪漏洞，如Apache Log4j2 远程代码执行漏洞（CVE-2021-44228）、Fastjson存在反序列化漏洞（CNVD-2022-40233）等，如发现服务模块涉及漏洞影响，会迅速通过官方解决方案升级现网更新漏洞。
SQL作业分析OBS数据 DLI支持将数据存储到OBS上，后续再通过创建OBS表即可对OBS上的数据进行分析和处理。 本指导中的操作内容包括：创建OBS表、导入OBS表数据、插入和查询OBS表数据等内容来帮助您更好的在DLI上对OBS表数据进行处理。 前提条件 已创建OBS的桶。具体
集群）时，需要使用成对的AK/SK进行加密签名，确保请求的机密性、完整性和请求双方身份的正确性。获取AK/SK操作步骤如下： 注册并登录华为云管理控制台。 将鼠标移动到右上角用户名上，在下拉列表中单击“我的凭证”。 在左侧导航栏单击“访问密钥”。 单击“新增访问密钥”，进入“新增访问密钥”页面。
使用文件系统输出流写入数据到OBS时，应避免多个作业写同一个目录的情况。 OBS对象存储桶的默认行为为覆盖写，可能导致数据丢失。 OBS并行文件系统桶的默认行为追加写，可能导致数据混淆。 因为以上OBS桶类型行为的区别，为避免作业异常重启可能导致的数据异常问题，请根据您的业务需求选择OBS桶类型。 HDFS代理用户配置
使用文件系统输出流写入数据到OBS时，应避免多个作业写同一个目录的情况。 OBS对象存储桶的默认行为为覆盖写，可能导致数据丢失。 OBS并行文件系统桶的默认行为追加写，可能导致数据混淆。 因为以上OBS桶类型行为的区别，为避免作业异常重启可能导致的数据异常问题，请根据您的业务需求选择OBS桶类型。 HDFS代理用户配置
果到本地。 查看结果：查看作业运行结果。 导出结果：将作业运行结果导出至用户创建的OBS桶中。 EXPORT作业除上述操作外，还包括： 立即下载 归档日志：将作业日志保存到系统创建的DLI临时OBS数据桶中。 说明： default队列下运行的作业或者该作业为同步作业时不支持归档日志操作。
审计与日志 DLI对接云审计服务 云审计服务（Cloud Trace Service，CTS），是华为云安全解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可记录的DLI操作列表
参考操作步骤说明，编写UDTF函数代码。 2 编写UDTF函数代码 3 调试，编译代码并导出Jar包 4 上传Jar包到OBS OBS控制台 将生成的UDTF函数Jar包文件上传到OBS目录下。 5 创建DLI的UDTF函数 DLI控制台 在DLI控制台的SQL作业管理界面创建使用的UDTF函数。
策略名称：可以使用默认名称，也可以自定义。 作用范围：选择“项目级服务”。 策略配置方式：选择“可视化视图”。 策略内容：依次选择“允许”，“数据湖探索”，“dli:jobs:list_all”。 单击“确认”，创建策略。 图3 创建策略 在“用户组”页面，找到需要授权的用户所属的用户组，单击用户组名称，进入用
DLI经典型跨源连接下线（EOL）公告 公告说明 华为云计划于2024年06月30 00:00（北京时间）将DLI经典型跨源连接的相关功能下线（EOL）。 影响 DLI经典型跨源连接的相关功能下线（EOL）后，不再提供该功能任何技术服务与支持。 如果您正在使用DLI经典型跨源连接
源。 DLI:*:*:queue:queues.* DLI服务，任意region，任意账号ID下，任意队列资源。 DLI:*:*:jobs:jobs.flink.1 DLI服务，任意region，任意账号ID下，作业Id为1的flink作业。 表4 DLI的指定资源与对应路径 资源类型
MySQL数据源 创建目的端DLI数据源的连接。 登录CDM控制台，选择“集群管理”，选择已创建的CDM集群，在操作列选择“作业管理”。 在作业管理界面，选择“连接管理”，单击“新建连接”，连接器类型选择“数据湖探索（DLI）”，单击“下一步”。 图3 创建DLI数据源连接 配置目的端DLI数
具体操作请参考SDK V3版本开发指南。 DLI SDK（服务自研）：是DLI服务自行开发的SDK，本手册介绍DLI 自研SDK的使用方法。相关开发包请从华为云DLI 开发工具包（SDK）获取。 Java SDK操作指导请参考Java SDK Python SDK操作指导请参考Python SDK
【SPARK-21492】：修复排序合并加入中的内存泄漏。 【SPARK-27812】：K8S客户端版本提升到4.6.1。 DLI从Spark 3.x版本开始不支持内置地理空间查询函数。 父主题： 版本支持公告
每批次读取的数据记录数，默认为100。如果在读取过程中，redis集群中的CPU使用率还有提升空间，可以调大该参数。 iterator.grouping.size 每批次插入的数据记录数，默认为100。如果在插入过程中，redis集群中的CPU使用率还有提升空间，可以调大该参数。 timeout 连接redis的超时
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
