检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Connect实例的Kafka版本,下载对应版本的开源Kafka命令行工具。 您可以在ROMA Connect实例控制台的“实例信息”页面,在“MQS基本信息”下查看Kafka版本信息。 1.1.0版本工具 2.7.2版本工具 已在Kafka命令行工具的使用环境中安装Java JDK,并完成相关环境变量的配置。
gz”文件。 配置文件下载后,待系统将边缘节点连接上云,连接完成后单击“下载核心软件安装工具”按钮,下载对应的安装工具。当前支持X86_64和arm64,请下载对应的安装程序。 备份下载的核心软件安装工具中的“edge-installer_1.0.27_x86_64.tar.gz”文件到本地。
填写API数据源中原始定义的分页大小字段名称,例如:pageSize。ROMA Connect向源端发送API请求时,携带此参数,表示每页的最大数据记录数。 条数 仅当“是否需要分页”选择开启时需要配置。 分页大小条数请根据API的原始定义填写。 单次任务最大页数限制 仅当“是否需要分页”选择开启时需要配置。
等待原Kafka中数据消费完毕,关闭原有消费业务客户端。 迁移结束。 迁移持久化数据 如果需要将原Kafka的已消费数据也迁移到ROMA Connect实例,可以使用开源工具MirrorMaker,模拟成原Kafka的消费客户端,以及ROMA Connect实例的生产客户端,将原Kafka所有消息数据迁移到ROMA
gz”文件。 配置文件下载后,待系统将边缘节点连接上云,连接完成后单击“下载核心软件安装工具”按钮,下载对应的安装工具。 当前支持X86_64和arm64,请下载对应的安装程序。 备份下载的核心软件安装工具中的“edge-installer_1.0.xx_x86_64.tar.gz”文件到本地。
S_TCODE 事务开始时检查事务代码 TCD 事务代码 SM50 基础:管理 S_TABU_NAM 按通用标准工具访问表 ACTVT 活动 3 基础:管理 S_TABU_NAM 按通用标准工具访问表 表格 表名称 * 基础:管理 S_ADMI_FCD 系统授权 S_ADMI_FCD 系统管理功能
Service,简称MRS)是一个在云服务平台上部署和管理Hadoop系统的服务。MRS提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。 ROMA Connect可以使用MRS中的Hive、HDFS、HBase和Kafka作为数据集成任务的源端和目标端。
密钥”,单击API所绑定签名密钥的名称进入签名密钥详情页面,获取签名密钥的Key和Secret。 准备开发环境 安装开发工具 请根据所使用语言选择适合的开发工具。 安装2018.3.5或以上版本的IntelliJ IDEA,安装包请至IntelliJ IDEA官方网站下载。 安装2019
融合IT、OT、AI,构建智能运营中心 由于ROMA Connect打通了数据集成与共享的通道,企业可以借助企业级人工智能、视频分析、大数据云服务等解决方案,打造真正的智慧园区大脑。 集中+分布式的架构支撑园区业务 大型园区管理企业往往涉及众多园区,ROMA Connect的
偏移量,表示从此偏移量开始查询,offset从1开始,取0时行为与1一致。 最小值:0 最大值:999999 缺省值:1 limit 否 Integer 每页显示条目数量,最大数量999,超过999后只返回999。 最小值:0 最大值:999999 缺省值:10 begin_time 否 Integer 日志查询的
Connect实例控制台的“消息集成 MQS > Topic管理”页面,单击“下载SSL证书”下载客户端证书。 准备开发环境 安装开发工具 请根据所使用语言选择适合的开发工具。 安装2018.3.5或以上版本的IntelliJ IDEA,安装包请至IntelliJ IDEA官方网站下载。 安装3
步骤五:调用API 为简单起见,此处使用Postman工具来实现对API的调用。 获取API的请求信息。 在“API运行”页面中,查看API的调用信息,包括请求方法和URL。 图8 API请求信息 调用开放的API。 使用Postman工具调用1中获取的API。 调用成功后,查看响应消息
GBLOB。 Oracle为非CDB数据库时的配置 建议由数据库管理员进行CDC功能的配置操作。 开启日志归档和XStream。 在命令行工具中执行以下命令以sys用户连接到数据库。 在实际使用过程中,可以有多种方式连接数据库,此处以命令行方式为例进行说明。 sqlplus /nolog
Kafka数据源连接失败 原因分析 连接地址填写的是MQS内网地址,且MQS同时开启了SSL与VPC内网明文访问时,“是否SSL”选择了“是”。 解决方案 修改“是否SSL”为“否”。 如果排除以上问题后,仍然连接失败,可参考数据源连接测试失败排查操作进行问题排查。 父主题: 数据源
在开始操作前,您需要提前完成以下准备工作。 已申请体验版实例或者已创建新版ROMA Connect实例。 已在本地PC上下载并安装Postman工具。 步骤一:新建组合应用 登录新版ROMA Connect控制台。 在左侧的导航栏选择“组合应用”,在页面上方单击“新建组合应用”。 在选
凭据管理”,在“凭据管理”页签下单击API所授权凭据的名称,进入凭据详情页面,获取凭据的Key和Secret。 准备开发环境 安装开发工具 请根据所使用语言选择适合的开发工具。 安装2018.3.5或以上版本的IntelliJ IDEA,安装包请至IntelliJ IDEA官方网站下载。 安装2019
获取桶内对象列表 起始位置 列举对象的起始位置,返回的对象列表将是对象名按照字典序排序后该参数以后的所有对象。 获取桶内对象列表 最大数目 列举对象的最大数目,取值范围为1~1000,当超出范围时,按照默认的1000进行处理。 获取桶内对象列表 对象名分组字符 用于对对象名进行分组的
向DWS写入数据时越来越慢怎么解决 原因分析 查看界面上的采集数据,如果写入数据耗时在秒级,属于正常的情况。如果写入几千条数据超过5秒,一般是性能劣化的表现。 解决方案 如果对DWS的某个表频繁访问,会导致写入性能逐渐降低,需要对DWS进行调优,例如,定时使用analyze规划表、VACUUM
则是Kafka集群中的核心组件,负责处理消息的存储和转发。Kafka的主要优点是可扩展性、高吞吐量、低延迟、可靠性和持久性。它被广泛应用于大数据处理、实时数据流处理、日志收集等领域。 创建Kafka连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。
则是Kafka集群中的核心组件,负责处理消息的存储和转发。Kafka的主要优点是可扩展性、高吞吐量、低延迟、可靠性和持久性。它被广泛应用于大数据处理、实时数据流处理、日志收集等领域。 创建Kafka连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。