检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka服务端的端口如果监听在hostname上,则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署人员。如何添加IP域名映射,请参见《数据湖探索用户指南》中修改主机信息章节。 Kafka是线下
将"dli-sdk-python-<version>.zip"解压到本地目录,目录可自行调整。 安装SDK。 打开Windows操作系统“开始”菜单,输入cmd命令。 在命令行窗口,进入“dli-sdk-python-<version>.zip”解压目录下的windows目录。例如:“D:
Hbase集群为例,该参数的所使用Zookeeper的ip地址和端口号获取方式如下: 在MRS Manager上,选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 实例”,获取ZooKeeper角色实例的IP地址。 在MRS Manager上,选择“集群 > 待操作的集群名称
是 无 String connector类型,需配置为'mysql-cdc'。 hostname 是 无 String MySQL数据库的IP地址或者Hostname。 username 是 无 String MySQL数据库的用户名。 password 是 无 String MySQL数据库的密码。
使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性 > 输入kafka的地址 > 测试)。如果能连通,则表示跨源已经绑定成功;否则表示未成功。 创建flink opensource
导出查询结果 功能介绍 该API用于将SQL语句的查询结果导出到OBS对象存储中,只支持导出“QUERY”类型作业的查询结果。 该API为异步操作。 目前只支持导出数据到OBS中,且导出的路径必须指定到文件夹级别。OBS路径中不支持逗号,且其中的桶名不能以正则格式“.[0-9]+(
使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性 > 输入kafka的地址 > 测试)。如果能连通,则表示跨源已经绑定成功;否则表示未成功。 创建flink opensource
在“作业管理”>“SQL作业”页面,可单击对应作业“操作”列“更多 > 导出结果”,可导出执行查询后的结果。 在“SQL编辑器”页面,查询语句执行成功后,在“查看结果”页签右侧,单击“导出结果”,可导出执行查询后的结果。 如果查询结果中无数值列,则无法导出查询结果。 确保执行导出作业结果的用户具备该OBS桶的读写权限。
queue_id 队列 flink_job_id Flink作业 通过云监控服务CES查看DLI监控指标 在管理控制台搜索“云监控服务”。 进入云监控服务的控制台后,在左侧列表中,单击“数据湖探索”。 选择队列进行查看相关监控信息。
设置DLI作业桶 查看Flink作业提交日志 用户可以通过查看提交日志排查提交作业异常的故障。 在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业管理页面。 单击需要查看的作业名称,进入“作业详情”页面。 在“提交日志”页签,可以查看提交作业的过程信息。
是 无 String connector类型,需配置为'mysql-cdc'。 hostname 是 无 String MySQL数据库的IP地址或者Hostname。 username 是 无 String MySQL数据库的用户名。 password 是 无 String MySQL数据库的密码。
DLI支持将Flink作业数据输出到ClickHouse数据库中。ClickHouse是面向联机分析处理的列式数据库,支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。详细请参考ClickHouse组件操作。 前提条件 该场景需要与C
DLI支持将Flink作业数据输出到ClickHouse数据库中。ClickHouse是面向联机分析处理的列式数据库,支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。详细请参考ClickHouse组件操作。 前提条件 该场景需要与C
绑定完成后,在增强型跨源的列表页面可以查看连接状态。 增强型跨源创建后状态为“已激活”,但不能说明队列和数据源已连通。建议前往队列管理页面测试数据源网络是否打通。操作步骤如下: 在队列管理页面选择队列。 单击“操作”列中的“更多 > 测试地址连通性”。 输入数据源的“IP:端口”测试网络连通性。
jar 作业 一直处于“提交中”? Spark jar 作业 一直处于“提交中”可能是队列剩余的CU量不足导致作业无法提交。 查看队列的的剩余步骤如下: 查看队列CU使用量。 点击“云监控服务 > 云服务监控 > 数据探索湖 > 队列监控 > 队列CU使用量” 。 计算剩余CU量。
使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka的地址-->测试)。若能连通,则表示跨源已经绑定成功;否则表示未成功。 创建flink opensource
使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列-->找到作业的所属队列-->更多-->测试地址连通性-->输入kafka的地址-->测试)。若能连通,则表示跨源已经绑定成功;否则表示未成功。 创建flink opensource
显示函数详情 功能描述 查看指定函数的相关信息。 语法格式 1 DESCRIBE FUNCTION [EXTENDED] [db_name.] function_name; 关键字 EXTENDED:显示扩展使用信息。 注意事项 返回已有函数的元数据(实现类和用法),如果函数不存在,则系统报错。
'postgresql://ip:port/database' 说明: 将数据库连接地址设置为DWS数据库地址,即可创建DWS维表。DWS数据库版本大于8.1.0后,无法用开源的postgresql驱动连接,需要用gaussdb驱动进行连接。 table_name 是 用于查询数据的数据库表名。
</settings> 方法二:通过在Eclipse中导入JAR文件安装SDK 使用Eclipse集成开发环境的项目,在集成开发环境中导入JAR文件。 从Eclipse官网下载并安装Eclipse IDE for Java Developers最新版本。在Eclipse中配置好JDK。 创建新工程,选择JRE版本,请参见图1