检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据源管理 创建数据源 查询数据源 查询指定数据源 修改数据源 删除指定数据源信息 获取数据源中所有的表 获取数据源中某个表中所有字段 测试数据源连通性 测试数据源SQL是否可用 父主题: 数据集成API
方案概述 应用场景 使用ROMA Connect的服务集成APIC,可以快速将已有后端服务、数据源和自定义函数封装成标准的RESTful API并对外开放,简化了业务系统间的对接过程,降低了对接成本。 APIC提供了APP认证、IAM认证等安全认证方式,确保API访问的安全。AP
集成应用的Secret,若未指定则由系统自动生成。 查看和编辑集成应用 在实例控制台的“集成应用”页面中,单击集成应用的名称,可查看该集成应用的详细信息。 图1 查看应用 表1 集成应用信息说明 内容 内容说明 基本信息 集成应用的基本参数信息,包括名称、描述、所属、创建时间、Key和Secret
配置数据映射规则 概述 本节主要提供数据集成任务Mapping信息的配置说明。Mapping信息用于告诉ROMA Connect源端数据字段到目标端数据字段的映射规则,把获取到的源端数据转换成写入目标端的数据。 约束与限制 源端与目标端字段名请勿使用对应数据库的关键字,否则可能导致任务运行异常。
数据集成平台操作手册 平台界面 数据集成 数据调度 功能列表 父主题: 实施步骤
APIC是否支持多后端节点方案? 通过负载通道支持多后端节点。一个负载通道中可以添加多个弹性云服务器。 父主题: 服务集成
保存数据方案 整体设计流程: 图1 具体设计方案: 图2 如上图,数据查询具体方案如下: 在集成工作台创建servicelayer连接器,连接器通过登录接口进行自定义认证; 在servicelayer连接器中创建执行动作,封装创建生产发料、创建生产收货等所需接口; 通过servi
设备上报的数据经规则引擎转发到消息集成的Topic上存储。 通过数据集成任务把Topic中的停车场数据实时写入停车场管理系统的数据库中,用于车位状态监测和停车计费,并可在IOC大屏上显示。 通过数据API把数据库中的车位状态数据开放给第三方应用,供车主、城市管理者了解停车场车位情况。 使用ROMA C
根据数据源类型的不同,数据源的接入配置有所差异,具体如下表所示。接入数据源后,单击数据源名称可以查看数据源详情,数据源详情中可查看数据源相关的任务信息。 ROMA Connect数据集成适用于异构数据源之间的数据类型转换和按需集成。对于业界主流数据库之间的数据迁移、同步场景,建议使用数据复制服务
数据集成概述、工具介绍及入湖范围 概述 数据集成是指将政府部门IT系统中的业务源数据按需通过全量或者增量的方式接入数管平台中,并确保数据的一致性、有效性及适用性。源数据种类可包括结构化数据、非结构化数据。在本次数据治理实施项目中,使用到的数据集成工具为CDM云数据迁移工具。 该过
FDI功能 功能 简介 数据集成任务的生命周期管理 FDI支持修改数据集成任务的信息、查看数据集成任务的运行报告、查看数据集成任务的运行日志、查看数据集成任务状态,完成数据集成任务的生命周期管理功能。 灵活的数据读写 支持 MySQL、文本文件、消息、API等多种数据的分片读取和写入。
音视频座席集成方案 企业可自行开发座席人员的操作页面,来接听和处理电话,或直接将云客服的座席接续插件集成到自己的界面上。 图1 语音接续集成方案 如上图所示,要实现座席人员接听电话,需要处理两个流: 数据控制流,如上图绿色线条所示,该流经由云客服的各网元,最终到达座席的浏览器页面
消息集成 向Topic生产的消息是否有长度限制? MQS支持的Kafka服务端版本是多少?
数据集成权限 表1 数据集成权限 权限 对应API接口 授权项(Action) 依赖的授权项 IAM项目 (Project) 企业项目 (Enterprise Project) 创建任务 POST /v2/{project_id}/fdi/instances/{instance_id}/tasks
任务监控管理 查询任务监控信息列表 查询单个任务的日志详情 查询单次调度日志详情 查询指定任务的调度信息总览 父主题: 数据集成API
FDI各类数据库支持哪些数据类型? FDI各类数据库支持的数据类型有: Kafka数据库:string MySQL数据库:integer,bigint,number,varchar,char,float,date,timestamp,datetime Oracle数据库:inte
接收到日志数据后,根据设置的过滤解析规则,对日志数据进行拆分和过滤,然后将解析后的日志数据发送到ELK的ElasticSearch进行存储。 ELK的ElasticSearch接收到日志数据后,生成日志数据的索引并存储数据,为Kibana的可视化显示提供聚合搜索和数据分析的支撑。
指从源端获取到的JSON格式数据中,要集成到目标端的每一个底层key-value型数据元素。 别名:对元数据的自定义名称。 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。 解析路径:元数据的完整路径中,不包含数据根字段的路径部分,具体请参见元数据解析路径配置说明。 元数据解析路径配置说明:
是否对转发的设备数据进行base64编码。 包含设备信息 转发的设备数据是否包含设备信息。 (可选)配置对转发数据的数据解析,对转发数据进行过滤筛选。 SQL解析配置说明请参见SQL解析。 数据解析在应用之后,base64和包含设备信息选项不生效。 配置规则的数据目的端。 Sit
入口路径:控制台 > 数据开发 单击“数据开发”,进入数据开发的界面 新建Spark SQL脚本 图10 数据开发1 选择数据连接和数据库 图11 数据开发2 添加表头注释 设置脚本参数 开发增转全脚本 增转全规则:通过增量时间戳获取180天的增量数据,然后将增量数据和180天前的数据进行整合,存放在新生成的分区里。