检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建RDS关联表 插入数据 查询数据 scala样例代码 pyspark样例代码 java样例代码 Postgres CDC源表 - 父主题： 配置DLI与数据源网络连通（增强型跨源连接）
配置多版本过期数据回收站 功能描述 在DLI数据多版本功能开启后，过期的备份数据后续在执行insert overwrite或者truncate语句时会被系统直接清理。OBS并行文件系统可以通过配置回收站加速删除操作过期的备份数据。通过在表属性添加配置“dli.multi.version
配置Hudi数据列默认值 该特性允许用户在给表新增列时，设置列的默认值。查询历史数据时新增列返回默认值。 使用约束 新增列在设置默认值前，如果数据已经进行了重写，则查询历史数据不支持返回列的默认值，返回NULL。数据入库、更新、执行Compaction、Clustering都会导致部分或全部数据重写。
量 select col1[1] from row_tb; -- 1 IPADDRESS IP地址，可以表征IPv4或者IPv6地址。但在系统内，该类型是一个统一的IPv6地址。 对于IPv4的支持，是通过将IPv4映射到IPv6的取值范围（RFC 4291#section-2
和“保存”。 “脏数据策略”选择“保存”时，配置“脏数据转储地址”。单击地址框选择保存脏数据的OBS路径。 仅DIS数据源支持配置脏数据策略。 （可选）根据需要设置自定义配置。相关参数详情可以参考Flink作业调优。 图3 自定义配置 单击“保存”，保存作业和相关参数。 单击“启
服务。用户不需要管理任何服务器，即开即用。支持标准SQL/Spark SQL/Flink SQL，支持多种接入方式，并兼容主流数据格式。数据无需复杂的抽取、转换、加载，使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
SDK获取与安装 Python SDK安装方式 本节操作介绍安装Python SDK的操作指导。 获取DLI SDK 在“DLI SDK DOWNLOAD”页面，单击选择所需的SDK链接，即可获取对应的SDK安装包。 “dli-sdk-python-x.x.x.zip”压缩包，解压后目录结构如下：
password”参数同时配置。 使用账号密码参数时，创建的云搜索服务集群必须开启安全模式并且关闭https。 connector.password 否 Elasticsearch所在集群的密码。该密码参数需和“connector.username”参数同时配置。 示例 create
Flink作业所属的队列名称。 UDF Jar 配置UDF Jar参数时显示。 优化参数 作业添加了自定义参数配置时显示该参数。 CU数量 作业配置的CU数量。 管理单元 作业配置的管理单元CU数量。 并行数 作业配置的同时运行Flink作业的任务数。 单TM所占CU数 作业配置的每个TaskManager所占CU数量。
上传“安全证书”的OBS路径。即步骤2的OBS桶地址。 图1 创建认证信息-CSS 访问CSS的表。 跨源认证创建成功后，在创建访问CSS的表时只需关联跨源认证即可安全访问数据源。 例如在使用Spark SQL来创建访问CSS的表时使用es.certificate.name字段配置跨源认证信息名称，配置连接安全CSS集群。
hosts请求参数。内容填空表示清除所有已配置的主机信息。 表3 hosts请求参数 参数名称 是否必选 参数类型 说明 name 否 String 自定义主机名称。长度128，数字字母下划线("_")横杠("-")句点(".")组成，字母开头。 ip 否 String 主机对应的IPv4地址。 响应消息 表4
OBS授权 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 样例代码 用户可以使用OBS授权操作的接口，将OBS桶的操作权限授权给DLI, 用于保存用户作业的数据和作业的运行日志等。 示例代码如下： 1
在DLI控制台配置数据库权限 数据库权限操作场景 针对不同用户，可以通过权限设置分配不同的数据库权限。 管理员用户和数据库的所有者拥有所有权限，不需要进行权限设置且其他用户无法修改其数据库权限。 给新用户设置数据库权限时，该用户所在用户组的所属区域需具有Tenant Guest权限。关于Tenant
击“下一步”。 配置同名作业策略。单击“下一步”。 勾选“配置同名替换”，如果待导入的作业名已存在，则覆盖已存在的作业配置，并且作业状态重置为草稿。 不勾选“配置同名替换”，如果待导入的作业名已存在，则不导入同名作业的配置。 确认“配置文件”和“同名作业策略”配置无误。单击“确认导入”，完成导入作业。
DWS集群连接地址 -U dbadmin -p 8000 -W password -r gaussdb：DWS集群默认数据库。 DWS集群连接地址：请参见获取集群连接地址进行获取。如果通过公网地址连接，请指定为集群“公网访问地址”或“公网访问域名”，如果通过内网地址连接，请指定为
者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 可以通过set方式修改endpoint，即dliInfo.setServerEndpoint(endpoint)。 父主题： Java SDK环境配置
据传输安全的重要配置。 true spark.network.sasl.serverAlwaysEncrypt 该参数用于配置服务器端是否使用加密来与客户端通信。当设置为true时，服务器将要求所有客户端使用加密连接，这可以提高通信的安全性。 true spark.authenticate
t，从华为云“用户名”>“我的凭证”页面获取项目编号。 “？”后面接其他配置项，每个配置项以“key=value”的形式列出，配置项之间以“;”隔开，这些配置项也可以通过Info对象传入。 Info Info传入自定义的配置项,若Info没有属性项传入，可设为null。配置格式为：info
目的数据源的vpc网络，通过点对点的方式实现数据互通。 图1 增强型跨源连接配置流程 配置DLI队列与公网网络连通 通过配置SNAT规则，添加到公网的路由信息，可以实现队列到和公网的网络打通。 图2 配置DLI队列访问公网流程 父主题： 增强型跨源连接类
选择的子网是开启IPv6的，则您创建的增强型跨源连接也是支持IPv6的。 主机信息：访问MRS的HBase集群时需要配置实例的主机名（即域名）与主机对应的IP地址。详细信息请参考修改弹性资源池的主机信息。 父主题： 管理增强型跨源连接
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
