检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ensurepip模块安装： python -m ensurepip 安装dli-sdk-python 执行安装命令： python setup.py install 安装dli-dbt 从DLI管理控制台下载dli-dbt驱动。 执行安装命令： python setup.py install
K，列举了最新版本SDK的获取地址。 SDK列表 表1提供了DLI云服务支持的SDK列表，您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址 参考文档 视频指导 Java huaweicloud-sdk-java-v3
CDM提供了可视化的迁移任务配置页面，支持多种数据源到数据湖的迁移能力。 本节操作介绍使用CDM迁移工具将数据从数据源迁移至DLI的操作步骤。 图1 使用CDM迁移数据至DLI操作流程 步骤1：创建CDM集群 CDM集群用于执行数据迁移作业，将数据从数据源迁移至DLI。 登录CDM管理控制台。
JSON Format 功能描述 JSON Format 能读写 JSON 格式的数据。当前，JSON schema 是从 table schema 中自动推导而得的。更多具体使用可参考开源社区文档：JSON Format。 支持的Connector Kafka Upsert Kafka
DLI SDK功能矩阵 SDK开发指南指导您如何安装和配置开发环境、如何通过调用DLI SDK提供的接口函数进行二次开发。 Java、Python SDK功能矩阵请参见表1 表1 SDK功能矩阵 语言 功能 内容 Java OBS授权 介绍将OBS桶的操作权限授权给DLI的Java
* 否 无 String 设置和传递任意 Kafka 的配置项。 “properties.”中的后缀名必须匹配在Apache Kafka中定义的配置键。 Flink 将移除 "properties." 配置键前缀并将变换后的配置键和值传入底层的 Kafka 客户端。例如，您可以通过
table存储模式下可配置，是否使用redis中已存在schema，默认为false。 connector.key-column 否 table存储模式下可配置，将该字段值作为redis中的ext-key，未配置时，ext-key为生成的uuid。 示例 从Redis中读取数据。
类型推导包含了验证输入值、派生参数和返回值数据类型。从逻辑角度看，Planner需要知道数据类型、精度和小数位数；从 JVM 角度来看，Planner 在调用自定义函数时需要知道如何将内部数据结构表示为JVM对象。 Flink 自定义函数实现了自动的类型推导提取，通过反射从函数的类及其求值方法中派生数据
调用API获取项目ID 从控制台获取项目ID 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects”，其中{Endpoint}为IAM的终端节点，可以从地区和终端节点获取。
JSON Format 功能描述 JSON Format 能读写 JSON 格式的数据。当前，JSON schema 是从 table schema 中自动推导而得的。 支持的Connector Kafka Upsert Kafka Elasticsearch 参数说明 表1 参数
deflate、snappy、bzip2、xz。 数据类型映射 目前，Avro schema 通常是从 table schema 中推导而来。尚不支持显式定义 Avro schema。因此，下表列出了从 Flink 类型到 Avro 类型的类型映射。 除了下面列出的类型，Flink 支持读取/写入
Datasource parquet表配置项说明 表1 Spark 3.3.1 Datasource parquet表配置项 配置项 默认值 描述 spark.sql.parquet.int96RebaseModeInRead EXCEPTION （Spark作业默认配置） 读取Parquet文
类型推导包含了验证输入值、派生参数和返回值数据类型。从逻辑角度看，Planner需要知道数据类型、精度和小数位数；从 JVM 角度来看，Planner 在调用自定义函数时需要知道如何将内部数据结构表示为JVM对象。 Flink 自定义函数实现了自动的类型推导提取，通过反射从函数的类及其求值方法中派生数据
toDouble(byte[] bytes) DATE 从 1970-01-01 00:00:00 UTC 开始的天数，int 值。 TIME 从 1970-01-01 00:00:00 UTC 开始天的毫秒数，int 值。 TIMESTAMP 从 1970-01-01 00:00:00 UTC
toDouble(byte[] bytes) DATE 从 1970-01-01 00:00:00 UTC 开始的天数，int 值。 TIME 从 1970-01-01 00:00:00 UTC 开始天的毫秒数，int 值。 TIMESTAMP 从 1970-01-01 00:00:00 UTC
设置和传入任意的Kafka原生配置文件。 注意： 后缀名必须匹配在Apache Kafka中的配置键。 例如关闭自动创建topic：'properties.allow.auto.create.topics' = 'false'。 存在一些配置不支持配置，如'key.deserializer'和'value
4”及以上版本的CSS集群且集群已开启安全模式。配置时需指定集群的用户名、密码、认证证书，通过跨源认证将以上信息存储到DLI服务中，便于DLI安全访问CSS数据源。详细操作请参考创建CSS类型跨源认证。 Kerberos类型的跨源认证：适用于开启Kerberos认证的MRS安全集群。配置时需指定MRS集群认证凭证，包括“krb5
导出数据（废弃） 功能介绍 该API用于从DLI表中导出数据到文件。 该API为异步操作。 目前只支持从DLI表导出数据到OBS中，且导出的路径必须指定到文件夹级别。OBS路径中不支持逗号，且其中的桶名不能以正则格式“.[0-9]+(.*)”结尾，即，若桶名包含“.”， 则最后一个“
sink可以在initializeState里引入。 图2 获取kafka sink 操作步骤 从Kafka实例的基本信息页面下载SSL证书，解压后将其中的clinet.jks文件上传到OBS。 图3 下载SSL证书 在DLI控制台，打开“数据管理 > 程序包管理”，单击“创建”，创建clinet
checkStreamTemplate 删除Flink模板 template deleteStreamTemplate 创建认证信息并上传证书 datasourceauth uploadAuthInfo 更新跨源认证信息 datasourceauth updateAuthInfo
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
