检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
高级选项:选择“自定义”。 网段:配置队列网段。例如,当前配置为10.0.0.0/16。 队列的网段不能和DMS Kafka、RDS MySQL实例的子网网段有重合,否则后续创建跨源连接会失败。 其他参数根据需要选择和配置。 参数配置完成后,单击“立即购买”,确认配置信息无误后,单击“提交”完成队列创建。
典型场景DLI委托权限配置示例 表1 DLI委托权限配置场景开发指南 类型 操作指导 说明 Flink作业场景 Flink Opensource SQL使用DEW管理访问凭据 Flink Opensource SQL场景使用DEW管理和访问凭据的操作指导,将Flink作业的输出数
scala样例代码 pyspark样例代码 java样例代码 - - RDS MySQL 创建RDS关联表 插入数据 查询数据 scala样例代码 pyspark样例代码 java样例代码 MySQL CDC源表 - RDS PostGre 创建RDS关联表 插入数据 查询数据 scala样例代码
数据处理后写入到OBS,具体参数配置请根据实际环境修改。 环境准备 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。 Maven工程的pom.xml文件配置请参考JAVA样例代码(Flink 1.12)中“pom文件配置”说明。 确保本地编译环境可以正常访问公网。
连接数据库所需要的驱动。若未配置,则会自动通过URL提取 connector.username 否 数据库认证用户名,需要和'connector.password'一起配置 connector.password 否 数据库认证密码,需要和'connector.username'一起配置 connector
DataGen Doris DWS Elasticsearch 对象存储OBS Hbase Hive Hudi JDBC Kafka MySql CDC Print Redis Upsert Kafka 父主题: Flink Opensource SQL1.15语法参考
步骤。 操作流程 图1 操作流程 步骤1:安装并配置Kyuubi连接DLI:安装并配置Kyuubi,确保Kyuubi可以连接到DLI。 步骤2:安装SuperSet并配置数据连接驱动:配置Superset安装数据连接驱动。 步骤3:配置SuperSet连接kyuubi:在BI工具
创建RDS跨源表提示空指针错误怎么办? 问题现象 客户创建RDS跨源表失败,报空指针的错误。 原因分析 客户建表语句: CREATE TABLE IF NOT EXISTS dli_to_rds USING JDBC OPTIONS ( 'url'='jdbc:mysql://to-rds-1174405119-oLRHAGE7
在/etc/hosts文件中配置IP地址 步骤2:Fine BI安装数据连接驱动 下载并安装Fine BI 获取Fine BI安装包 找到下载的Fine BI安装程序文件。 双击运行安装程序。 按照安装向导的指示进行操作,包括接受许可协议、选择安装类型(典型安装或自定义安装)、设置安装目录等。 配置Fine
操作流程 图1 操作流程 步骤1:安装并配置Kyuubi连接DLI:安装并配置Kyuubi,确保Kyuubi可以连接到DLI。 步骤2:配置Beeline连接Kyuubi:在BI工具中创建一个新的数据连接,通过JDBC连接Kyuubi。 步骤1:安装并配置Kyuubi连接DLI 如需使
创建源表 DataGen源表 DWS源表 Hbase源表 JDBC源表 Kafka源表 MySQL CDC源表 Postgres CDC源表 Redis源表 Upsert Kafka源表 FileSystem源表 父主题: 数据定义语句DDL
操作流程 图1 操作流程 步骤1:安装并配置Kyuubi连接DLI:安装并配置Kyuubi,确保Kyuubi可以连接到DLI。 步骤2:配置ODBC连接Kyuubi:安装ODBC驱动,配置ODBC驱动连接到Kyuubi服务器。 步骤3:配置Power BI使用ODBC连接到Ky
的操作步骤。 操作流程 图1 操作流程 步骤1:安装并配置Kyuubi连接DLI:安装并配置Kyuubi,确保Kyuubi可以连接到DLI。 步骤2:配置ODBC连接Kyuubi:配置Superset安装数据连接驱动。 步骤3:配置Tableau使用ODBC连接到Kyuubi:在
创建表相关语法 表1 创建表相关语法 语法分类 功能描述 创建源表 DataGen源表 DWS源表 Hbase源表 JDBC源表 Kafka源表 MySQL CDC源表 Postgres CDC源表 Redis源表 Upsert Kafka源表 创建结果表 BlackHole结果表 ClickHouse结果表
"jdbc:mysql://xxxx:3306/xxxx", -- mysql连接地址,jdbc格式 "connector.table" = "xxxx", -- mysql表名 "connector.driver" = "com.mysql.jdbc
OPTIONS ('url'='jdbc:mysql://192.168.6.150:3306','dbtable'='test.customer','user'='root','password'='**','driver'='com.mysql.jdbc.Driver')");
Kafka Sink配置发送失败重试机制 问题描述 用户执行Flink Opensource SQL, 采用Flink 1.10版本。Flink Sink写Kafka报错后作业失败: Caused by: org.apache.kafka.common.errors.NetworkException:
连接数据库所需要的驱动。若未配置,则会自动通过URL提取 connector.username 否 数据库认证用户名,需要和'connector.password'一起配置 connector.password 否 数据库认证密码,需要和'connector.username'一起配置 connector
通用队列操作OBS表如何设置AK/SK 如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中,缺少pymysql模块,如何使用python脚本访问MySQL数据库? 如何在DLI中运行复杂PySpark程序? 如何通过JDBC设置spark.sql.shuffle
BC中: 根据MySQL和kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据MySQL和kafka的地址测试队列连通性。若能连通,则表示跨源已经绑定成功;否则表示未成功。 在MySQL的flink数