检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Connect实例与数据源在同一区域的不同VPC内时,可通过创建VPC对等连接,将两个VPC的网络打通,实现同一区域跨VPC访问数据源。具体步骤请参考VPC对等连接说明。 若ROMA Connect实例与数据源在不同区域的不同VPC内时,可通过创建云连接实例并加载需要互通的VPC,将两个VPC
表12 源端RabbitMQ信息 参数 配置说明 是否创建新队列 选择是否在源端RabbitMQ数据源创建一个新队列。 选择是,表示创建一个新队列,并从该队列获取数据。 选择否,表示从已有队列中获取数据。 交换方式 仅当“是否创建新队列”选择“是”时需要配置。 选择RabbitMQ中交换器将消息转发到新队列的路由方式。
创建规则引擎目的端 功能介绍 在ROMA Connect创建规则引擎目的端。 URI POST /v1/{project_id}/link/instances/{instance_id}/rules/destinations 表1 参数说明 名称 类型 是否必填 描述 project_id
mqs_long = sourceObject["root.long"]; return targetObject; } 父主题: 创建数据集成任务(编排任务)
like 'log_bin'; (可选):当创建MySQL CDC任务Schema映射时,MySQL数据库需要先开启配置项:binlog_rows_query_log_events =1;可在如上第 e 步骤中配置。 在数据库中执行以下命令创建ROMA Connect连接数据库的用户并配置权限。
此时页面只能访问当前域的资源。CORS允许浏览器向跨域服务器发送XMLHttpRequest请求,从而实现跨域访问。更多跨域访问的说明请参见配置跨域访问API。 跨域资源共享插件为跨域访问提供指定预检请求头和响应头、自动创建跨域预检请求API的扩展能力,可快速、灵活的实现API的跨域访问。
块折叠,否则影响任务保存。 配置异常数据存储 在配置异常数据存储前,您需要提前完成OBS数据源的接入配置,具体请参见接入OBS数据源。 在创建任务页面中配置异常数据存储信息。 表1 异常数据存储信息 参数 配置说明 集成应用 选择OBS数据源所属的集成应用。 源端数据类型 当前仅支持选择“OBS”。
在独立服务器中。在搭建Filebeat+ELK系统前,需要对Filebeat和ELK所需的服务器资源进行评估,以准备相关服务器资源。 API调用日志文件最大为200MB,达到上限后会自动生成新的日志文件,以每天产生5个或10个新日志文件为例,Filebeat和ELK对服务器的资源需求如表1所示。
用户创建的FDI任务,同一账号的其他用户可见吗? FDI任务是做的用户隔离,如果没有授权,同一账号的其他用户看不到,用户要看到其他用户的任务需要通过集成应用授权。 父主题: 数据集成普通任务
查询自定义后端服务数据源列表 功能介绍 查询自定义后端服务数据源列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/ap
创建实例时为什么无法查看子网和安全组等信息? ROMA Connect对用户资源实现了严格的权限管理。 创建实例时,如果无法查看虚拟私有云、子网、安全组、弹性IP,可能原因是该用户无Server Administrator和VPC Administrator权限。 增加权限的详细步骤请参考修改用户组权限。
Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据集成 FDI > 任务管理”,单击页面的“创建普通任务”。 在创建任务页面中配置任务基本信息。 表1 任务基本信息 参数 配置说明 任务名称 填写任务的名称,根据规划自定义。建议您按照一定的命名
若目标端数据类型为MRS Hive时,如果要配置分区字段写入,请参见MRS Hive分区字段映射配置说明。 配置Mapping信息 在创建任务页面中配置Mapping信息,有自动配置和手动配置两种方式。 自动配置Mapping 若源端信息与目标端信息中都定义了元数据,可使用“
前提条件 已经在对应的应用下创建Kafka和MRS Kafka数据源,数据源创建参考接入Kafka数据源和接入MRS Kafka数据源。 已创建消息集成Topic并授发布和订阅权限。创建Topic和授权参考消息集成指导章节。 配置任务完成后执行 在创建任务页面中配置任务完成后执行信息。
String 后端服务器组名称。为后端服务地址选择服务器组,便于统一修改对应服务器组的后端地址。 status Integer 后端服务器状态 1:可用 2:不可用 port Integer 后端服务器端口 最小值:0 最大值:65535 ecs_id String 后端云服务器的编号。
HTTP请求方法(也称为操作或动词),它告诉服务你正在请求什么类型的操作。 表2 HTTP方法 方法 说明 GET 请求服务器返回指定资源。 PUT 请求服务器更新指定资源。 POST 请求服务器新增资源或执行特殊操作。 DELETE 请求服务器删除指定资源,如删除对象等。 HEAD 请求服务器资源头部。 PATCH
APIC是否支持多后端节点方案? 通过负载通道支持多后端节点。一个负载通道中可以添加多个弹性云服务器。 父主题: 服务集成
在页面左上角单击“”,然后选择“Analytics > Discover”。 在页面中单击“Create data view”,创建数据视图。 在创建数据视图页面中,配置视图信息,完成后单击“Save data view to Kibana”保存视图。 Name:数据视图名称,自定义。
t和ELK。 前提条件 准备一台可连接公网的本地PC,系统为Linux,用于拉取Docker镜像。 已根据资源规划,完成服务器资源的准备,且ELK所部署的服务器与APIC的SHUBAO组件所在节点网络互通。 操作步骤 确认SHUBAO组件所在节点。 登录ROMA Connect控
、低延迟的平台,可以处理大量的实时数据流。Kafka主要由三个部分组成:生产者、消费者和代理服务器。生产者将数据发布到Kafka集群,消费者从Kafka集群订阅数据并进行处理,代理服务器则是Kafka集群中的核心组件,负责处理消息的存储和转发。Kafka的主要优点是可扩展性、高吞