检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开启或关闭数据多版本 功能描述 DLI提供多版本功能，用于数据的备份与恢复。开启多版本功能后，在进行删除或修改表数据时（insert overwrite或者truncate操作），系统会自动备份历史数据并保留一定时间，后续您可以对保留周期内的数据进行快速恢复，避免因误操作丢失数据
sink可以在initializeState里引入。 图2 获取kafka sink 操作步骤 从Kafka实例的基本信息页面下载SSL证书，解压后将其中的clinet.jks文件上传到OBS。 图3 下载SSL证书 在DLI控制台，打开“数据管理 > 程序包管理”，单击“创建”，创建clinet.jks对应的程序包。
d-dli-jdbc-<version>.zip”，支持在所有平台（Linux、Windows等）所有版本中使用，且依赖JDK 1.7及以上版本。 下载的JDBC驱动包中包含了.bat（Windows）或.sh（Linux/Mac）脚本，这些脚本用于自动化安装JDBC驱动到本地Maven仓库。
Kafka开启SSL认证。 操作步骤 下载认证凭证。 DMS Kafka 登录DMS Kafka控制台，单击实例名称进入详情页面。 在连接信息中，找到SSL证书，单击“下载”。 解压下载的kafka-certs压缩包，获取client.jks和phy_ca.crt文件。 MRS Kafka 登录MRS
Java SDK要求使用JDK1.8或更高版本。考虑到后续版本的兼容性，推荐使用1.8版本。 在Java运行环境配置好的情况下，打开windows的命令行，执行命令Java -version，可以检查版本信息。 操作步骤 安装JDK。从Oracle官网下载并安装JDK1.8版本安装包。
使用JDBC连接DLI并提交SQL作业 操作场景 在Linux或Windows环境下您可以使用JDBC应用程序连接DLI服务端提交作业。 使用JDBC连接DLI提交的作业运行在Spark引擎上。 JDBC版本2.X版本功能重构后，仅支持从DLI作业桶读取查询结果，如需使用该特性需具备以下条件：
jks文件，使用如下命令验证keystore文件和证书信息。 keytool -list -v -keystore transport-keystore.jks 正确输入keystore password后即可看见相应的信息。 使用如下命令创建truststore.jks文件并进行验证 。 keytool
查看多版本备份数据 功能描述 在DLI数据多版本功能开启后，您可以通过SHOW HISTORY命令查看表的备份数据。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表，具体建表SQL语法可以参考使用Hive语法创建OBS表。
恢复多版本备份数据 功能描述 在DLI数据多版本功能开启后，您可以通过RESTORE TABLE命令恢复表或分区数据到指定版本。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表，具体建表SQL语法可以参考使用Hive语法创建OBS表。
CONSTRAINT 命令功能 ADD CONSTRAINT 命令添加 CHECK 约束。 在将约束添加到表中之前会验证所有现有行是否满足约束。 注意事项 在将约束添加到表中之前会验证所有现有行是否满足约束，如果有行不满足约束，约束将添加失败，添加前需先清理不满足约束的数据。 命令格式 ALTER
zip"解压到本地目录，目录可自行调整。 安装SDK。 打开Windows操作系统“开始”菜单，输入cmd命令。 在命令行窗口，进入“dli-sdk-python-<version>.zip”解压目录下的windows目录。例如：“D:\tmp\dli-sdk-python-1.0
致函数功能异常。 环境准备 在进行UDTF开发前，请准备以下开发环境。 表1 UDTF开发环境 准备项 说明 操作系统 Windows系统，支持Windows7以上版本。 安装JDK JDK使用1.8版本。 安装和配置IntelliJ IDEA IntelliJ IDEA为进行应用开发的工具，版本要求使用2019
导致函数功能异常。 环境准备 在进行UDF开发前，请准备以下开发环境。 表1 UDF开发环境 准备项 说明 操作系统 Windows系统，支持Windows7以上版本。 安装JDK JDK使用1.8版本。 安装和配置IntelliJ IDEA IntelliJ IDEA为进行应用开发的工具，版本要求使用2019
true spark.authenticate 该参数用于配置是否对Spark应用程序的组件进行身份验证。启用身份验证可以防止未授权的访问。这个参数可以设置为true来启用身份验证。 true Flink作业传输通信加密 在Flink作业可以通过配置表2中的参数来开启SSL传输。
否正确。 检查发现读取的数据量是正确的。 图1 检查读取的数据量 确认客户验证数据量的方式是否正确。客户验证的方式如下： 通过OBS下载数据文件。 通过文本编辑器打开数据文件，发现数据量缺失。 根据该验证方式，初步定位是因为文件数据量较大，文本编辑器无法全部读取。 通过执行查询语
Python SDK环境配置 操作场景 在进行二次开发时，要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统，推荐Windows 7及以上版本。 安装Python Python版本建议使用2.7.10和3.4.0以上版本，需要配置Visual C++编译环境Visual
"GET /?p=1 HTTP/2.0" 200 5316 "https://domain.com/?p=1" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119
操作过期的备份数据。通过在表属性添加配置“dli.multi.version.trash.dir”即可开启回收站功能。开启和关闭多版本语法请参考开启或关闭数据多版本。 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表，具体建表SQL语法可以参考使用Hive语法创建OBS表。
目和复杂的数据分析场景。 本节操作介绍DBT连接DLI的操作步骤。 操作前准备 环境要求 确保您的系统环境满足以下要求。 操作系统：Windows 或 Linux DBT是一个基于Python的工具，请确保已安装了Python。 Python 版本：Python 3.8 或更高版本，推荐使用
环境间数据实时数据集成和复制的综合软件包。 该产品集支持高可用性解决方案、实时数据集成、事务更改数据捕获、运营和分析企业系统之间的数据复制、转换和验证。Ogg 为变更日志提供了统一的格式结构，并支持使用 JSON 序列化消息。 Flink 支持将 Ogg JSON 消息解析为 INSERT/UPDATE/DELETE
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
