检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Kibana查看日志 登录Kibana可视化界面。 访问地址:IP:Port 其中,IP为ELK所部署服务器的IP;Port为Kibana端口号,默认为5601,也可以在修改ELK配置时自定义端口号。如果网络中部署了防火墙,需提前配置防火墙的端口访问权限。 用户名密码:在部署ELK时自定义的用户名和密码。
Connect提供了多种认证鉴权方式、精细化的流量控制、严格的访问控制等安全防护措施,全方位保护API安全调用。 使用流程 使用ROMA Connect进行服务集成的流程如下图所示。 图1 业务使用流程 已创建实例和集成应用。 开放API 开放API 创建API分组 每个API都归属到某一个AP
接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源 接入MRS HBase数据源 接入FI HBase数据源 接入Oracle数据源 接入SQL Server数据源 接入DAMENG数据源 接入POSTGRESQL数据源 接入SFTP数据源
ROMA Connect是一个全栈式的应用与数据集成平台,提供消息、数据、API、设备等集成能力,简化企业上云,支持云上云下、跨区域集成,帮助企业实现数字化转型。 您可以使用本文档提供的API对ROMA Connect进行相关操作,如创建、删除、变更API、添加自定义后端等。支持的全部操作请参见API概览。
种安全认证方式,实现跨网络跨地域应用系统数据间的安全访问。 跨系统业务数据集成与转换 介绍如何通过ROMA Connect的数据集成,把业务系统A中的数据进行格式转换后,集成到业务系统B的数据库中使用。后续根据制定的同步计划,定时把业务系统A中新增的数据同步到业务系统B中,保证了两个系统间的数据同步。
使用自定义认证 创建自定义认证的API 在ROMA Connect中创建一个使用自定义认证的API。 在实例控制台的左侧导航栏选择“服务集成 APIC > API列表”,在页面右上角单击“创建API”。 在创建API页面配置API的前端请求信息。 图1 前端请求信息 表1 前端请求信息
Java Demo使用说明 操作场景 除了前面章节介绍的使用原生Kafka客户端,MQS实例还可以通过HTTP RESTful方式访问,包括向指定Topic发送消息、消费消息以及确认消费。 这种方式主要用于适配原有业务系统架构,方便统一使用HTTP协议接入。 入门版规格实例不支持RESTful
使用ROMA Connect集成消息 概述 ROMA Connect提供了安全、标准化消息通道,实现不同消息系统的集成对接。 本章节通过完成一个使用Kafka命令行与ROMA Connect对接的配置样例,帮助您快速熟悉使用ROMA Connect集成消息的过程。 使用ROMA Connect集成消息的步骤如下所示:
world”),帮助您快速熟悉ROMA Connect组合应用的使用过程。 使用ROMA Connect组合应用的步骤如下所示: 步骤一:新建组合应用 步骤二:配置工作流 步骤三:发布应用 步骤四:验证结果 准备工作 在开始操作前,您需要提前完成以下准备工作。 已申请体验版实例或者已创建新版ROMA Connect实例。
文件支持xls和xlsx格式。 高级属性 仅当“文件类型”选择“csv”时需要配置。 选择是否配置文件的高级属性。 换行符 仅当“高级属性”选择“是”时需要配置。 填写文件内容的换行符,用于区分文件中的不同数据行。 使用包围符 仅当“高级属性”选择“是”时需要配置。 若选择“是”
接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源 接入MRS HBase数据源 接入FI HBase数据源 接入Oracle数据源 接入SQL Server数据源 接入DAMENG数据源 接入POSTGRESQL数据源 接入SFTP数据源
timeout.ms的时间。 Producer使用建议 同步复制客户端需要配合使用:acks=-1 配置发送失败重试:retries=3 发送优化:linger.ms=0 生产端的JVM内存要足够,避免内存不足导致发送阻塞 Topic使用建议 配置要求:推荐3副本。 单Topic最大分区数建议为20。
已有业务模板新建组合应用。 在新建组合应用页面,进行流任务的配置和编排。 对于使用已有业务模板创建的组合应用,组合应用中已提供了对应业务场景的流任务配置和编排,可直接使用或根据需要进行修改。 对于使用空模板创建的组合应用,需要自定义配置和编排流任务,此处以空模板创建的组合应用为例进行说明。
0-SNAPSHOT.jar & 以MQS数据源作为源端,MySQL作为目标端为例创建实时任务。 参考创建数据集成任务(普通任务)接入源端MQS数据源和目标端MySQL数据源,并创建实时任务。完成后运行任务,可以将源端MQS数据源中的数据,迁移到MySQL数据源的表中。 父主题: 数据集成开发指导
数据库 MySQL Redis DB2 GaussDB DWS Milvus Oracle PostgreSQL Sql Server 父主题: 连接器
目的端数据格式选择“MySQL”,在选择表名后,目的端数据源页签会自动生成数据库表中的字段。 以下面的组合应用为例,该组合应用的主要功能是调用Open API获取OBS指定桶的对象列表,并将结果中的桶名称和对象名称通过数据映射,映射到MySql指定表中的相关字段,然后使用MySql添加记录的
使用ROMA Connect集成服务 概述 ROMA Connect支持将API、数据源和自定义函数封装成标准的RESTful API,并对外开放。ROMA Connect为API提供了完整的生命周期管理和多层的安全防护管理。 本章节通过完成一个使用ROMA Connect开放A
是:不会透传数据。 否:则会透传数据。 使用QuartZ Cron表达式 选择是否使用QuartZ Cron表达式方式配置。 使用QuartZ Cron表达式说明参见使用QuartZ Cron表达式。 不使用QuartZ Cron表达式说明参见不使用QuartZ Cron表达式。 开始执行时间
Python SDK使用说明 操作场景 使用Python语言调用APP认证的API时,您需要先获取SDK,然后新建工程,最后参考调用API示例调用API。 前提条件 已获取API的调用信息,具体请参见开发准备。 已安装开发工具和Python开发语言环境,具体请参见开发准备。 Py
将十六进制字符串转换成字节数组 方法详情 public static String toString(byte[] bytes, String encoding) 将字节数组转换为字符串 输入参数 bytes:需要转换的字节数组 encoding:编码 返回信息 返回转换后的字符串 public