检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击Spark作业编辑页面右上方“执行”，阅读并同意隐私协议，单击“确定”。提交作业，页面显示“作业提交成功”。 （可选）可到“作业管理”>“Spark作业”页面查看提交作业的状态及日志。 在DLI管理控制台第一次单击“执行”操作时，需要阅读隐私协议，同意确定后，后续操作将不会再提示。 后续指引
地址和内网端口访问，格式为"协议头://内网IP:内网端口/数据库名"，例如："jdbc:postgresql://192.168.0.77:8000/postgres"，获取方式请参考“图 DWS集群信息”。 说明： DWS的连接地址格式为："协议头://访问地址:访问端口/数据库名"
单击“网络”中的安全组名称，在“入方向规则”中添加放通队列网段的规则。例如，本示例队列网段为“10.0.0.0/16”，则规则添加为：优先级选择：1，策略选择：允许，协议选择：TCP，端口值不填，类型：IPv4，源地址为：10.0.0.0/16，单击“确定”完成安全组规则添加。 登录DLI管理控制台，在左侧
单击“网络”中的安全组名称，在“入方向规则”中添加放通队列网段的规则。例如，本示例队列网段为“10.0.0.0/16”，则规则添加为：优先级选择：1，策略选择：允许，协议选择：TCP，端口值不填，类型：IPv4，源地址为：10.0.0.0/16，单击“确定”完成安全组规则添加。 登录DLI管理控制台，在左侧
配置DLI 队列与公网网络联通 操作场景 本节操作为您提供DLI队列在公网访问场景下网络打通的方法。通过配置SNAT规则，添加到公网的路由信息，可以实现队列到和公网的网络打通。 操作流程 图1 配置DLI队列访问公网流程 步骤1：创建VPC 登录虚拟私有云控制台，创建虚拟私有云。创建的VPC供NAT访问公网使用。
网段的规则。 例如，本示例队列网段为“172.16.0.0/19”，规则添加为： 优先级选为：1，策略选为：允许 类型：IPv4 协议端口：基本协议\自定义TCP，端口值不填 源地址为：选择IP地址，172.16.0.0/19 单击“确定”完成安全组规则添加。 创建RDS与DLI的增强型跨源连接。
单击“连接信息”中的安全组名称，在“入方向规则”中添加放通队列网段的规则。例如，本示例队列网段为“10.0.0.0/16”，则规则添加为：优先级选择：1，策略选择：允许，协议选择：TCP，端口值不填，类型：IPv4，源地址为：10.0.0.0/16，单击“确定”完成安全组规则添加。 登录DLI管理控制台，在左侧
Spark SQL语法概览 本章节介绍了目前DLI所提供的Spark SQL语法列表。参数说明，示例等详细信息请参考具体的语法说明。 表1 批作业SQL语法 语法分类 操作链接 数据库相关语法 创建数据库 删除数据库 查看指定数据库 查看所有数据库 创建OBS表相关语法 使用DataSource语法创建OBS表
设置的密码内容） 确认密码：**** 更多配置：暂不配置。 单击“立即购买”，弹出规格确认页面。 确认实例信息无误且阅读并同意《华为云用户协议》后，单击“提交”，完成实例创建,创建实例大约需要10~15分钟请耐心等待。 创建Kafka的topic。 单击购买的Kafka实例名称，进入到Kafka实例的基本信息页面。
单击“网络”中的安全组名称，在“入方向规则”中添加放通队列网段的规则。例如，本示例队列网段为“10.0.0.0/16”，则规则添加为：优先级选择：1，策略选择：允许，协议选择：TCP，端口值不填，类型：IPv4，源地址为：10.0.0.0/16，单击“确定”完成安全组规则添加。 登录DLI管理控制台，在左侧
单击“连接信息”中的安全组名称，在“入方向规则”中添加放通队列网段的规则。例如，本示例队列网段为“10.0.0.0/16”，则规则添加为：优先级选择：1，策略选择：允许，协议选择：TCP，端口值不填，类型：IPv4，源地址为：10.0.0.0/16，单击“确定”完成安全组规则添加。 登录DLI管理控制台，在左侧
的规则。例如本示例为3弹性资源池网段为“172.16.0.0/18”，数据库端口为3306，则规则添加为：优先级选择：1，策略选择：允许，协议级别和端口选择：TCP和3306，类型：IPv4，源地址为：172.16.0.0/18 单击“确定”完成安全组规则添加。 登录DLI管理控
书写是否正确。 如果语法校验失败，请参考《数据湖探索SQL语法参考》检查SQL语句准确性。 如果语法校验通过，单击“执行”，阅读并同意隐私协议，单击“确定”后执行SQL语句。 SQL语句执行成功后，在SQL作业编辑窗口下方会显示执行结果。 查看作业执行结果。 在查看结果页签，单击
迁移Hive数据至DLI 本文为您介绍如何通过CDM数据同步功能，迁移MRS Hive数据至DLI。其他MRS Hadoop组件数据，均可以通过CDM与DLI进行双向同步。 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。 创建DLI队列时队列类型需要选择为“SQL队列”。
语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格。 单击“立即购买”，确认配置。 第一次创建队列时，需要勾选“同意以上隐私协议”并确定。 配置确认无误，单击“提交”完成队列创建。 如果队列名称已存在，单击“提交”时，系统会提示“Queue xxx already
DWS源表 功能描述 DLI将Flink作业从数据仓库服务（DWS）中读取数据。DWS数据库内核兼容PostgreSQL，PostgreSQL数据库可存储更加复杂类型的数据，支持空间信息服务、多版本并发控制（MVCC）、高并发，适用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务（Data
DWS结果表 功能描述 DLI将Flink作业的输出数据输出到数据仓库服务（DWS）中。DWS数据库内核兼容PostgreSQL，PostgreSQL数据库可存储更加复杂类型的数据，支持空间信息服务、多版本并发控制（MVCC）、高并发，适用场景包括位置应用、金融保险、互联网电商等。
DWS源表 功能描述 DLI将Flink作业从数据仓库服务（DWS）中读取数据。DWS数据库内核兼容PostgreSQL，PostgreSQL数据库可存储更加复杂类型的数据，支持空间信息服务、多版本并发控制（MVCC）、高并发，适用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务（Data
DWS源表 功能描述 DLI将Flink作业从数据仓库服务（DWS）中读取数据。DWS数据库内核兼容PostgreSQL，PostgreSQL数据库可存储更加复杂类型的数据，支持空间信息服务、多版本并发控制（MVCC）、高并发，适用场景包括位置应用、金融保险、互联网电商等。 数据仓库服务（Data
DWS输出流（通过JDBC方式） 功能描述 DLI将Flink作业的输出数据输出到数据仓库服务（DWS）中。DWS数据库内核兼容PostgreSQL，PostgreSQL数据库可存储更加复杂类型的数据，支持空间信息服务、多版本并发控制（MVCC）、高并发，适用场景包括位置应用、金融保险、互联网电商等。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
