检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置索引生命周期策略(可选) ElasticSearch存储的数据,默认未设置过期时间,用户可根据磁盘空间情况,为ElasticSearch数据设置索引生命周期策略。 创建生命周期策略 登录Kibana可视化界面。
例如源端数据在本地数据中心,目标端数据在云上VPC内,两者网络不互通,但FDI既能访问云上VPC内的数据源,也能访问本地数据中心的数据源,实现不同网络环境间的数据集成。
查询组合任务的映射列表 修改组合任务映射 删除指定任务映射 组合任务自动映射 父主题: 数据集成API
映射规则 配置ROMA Connect源端数据字段到目标端数据字段的映射规则,把获取到的源端数据转换成写入目标端的数据。具体映射说明参见配置映射规则。 映射模式:通过列表形式填写源端和目标端的字段名,增加源端数据字段到目标端数据字段的映射关系。
另外需要分析产生只读状态的原因,促使基于数据库进行的业务开发进行调优,或者扩容磁盘空间,防止问题再现。 父主题: 数据集成组合任务
同步落盘 消息客户端向Topic生产的每条消息是否立即写入磁盘。同步落盘开启时,可靠性更高。 标签 为Topic所属的集成应用添加消息发布和订阅标签,一般业务场景下无需添加,仅用于特殊业务场景。 添加标签后,客户端向Topic发布和订阅消息时需同时传输标签信息。
表1 服务器资源需求 组件 日志文件数 CPU 内存 磁盘 Filebeat 5个 1核 256MB 当Filebeat已读取日志,但尚未发送至其它组件前,会把日志数据缓存到磁盘中,因此磁盘占用为已读取日志文件总大小,最大值为200MB*日志文件数。
创建数据集成任务(编排任务) 配置编排任务流程 配置源端数据信息 配置目标端数据信息 配置映射规则 父主题: 数据集成指导
处理器 分支判断 并行处理 延时 EDI处理 变量赋值 变量修改 排序 数据转换 数据拆分 数据筛选 脚本处理 日志采集 数据映射 循环处理 异常监控 终止 对称加解密 非对称加解密 XML校验
创建数据集成任务(普通任务) 配置任务基本信息 配置源端数据信息 配置目标端数据信息 配置数据映射规则 配置异常数据存储(可选) 配置任务完成后执行(可选) 父主题: 数据集成指导
映射值 用户自定义,例如:id,name。 描述 填写对该映射值的描述内容。
跨域请求 Option的预请求如果用IP访问,则不能映射ROMA Connect入口IP,如果需要映射入口IP,则需要用域名访问。
在“用户映射”栏选择映射到此登录名的用户及数据库角色成员身份。 在“映射到此登录名的用户”中选择配置CDC的数据库,例如:fdiromatest。 在“数据库角色成员身份”中选择“db_datareader”、“db_owner”和“public”。
主题管理 查询Topic列表 创建Topic 修改Topic 删除Topic 批量删除Topic 导入Topic 导出Topic 下载证书 查询topic的磁盘存储情况 父主题: 消息集成API
图13 自定义数据源配置示例 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。 父主题: 创建数据集成任务(普通任务)
MRS Hive、MRS HBase和MongoDB的Mapping映射手动输入时,是否区分大小写? MRS Hive是否支持分区? 源端API类型数据源自定义周期如何设置? SAP是否支持分页读取视图? 父主题: 数据集成
如果对磁盘操作敏感,可自行在每台虚拟机上挂载数据盘、日志盘,脚本执行过程中会自动跳过磁盘挂载。
磁盘挂载到指定目录:/opt/roma/data和/opt/roma/logs 变更前请确认新增节点机器端口是否开放正常。
mapping_source_textornot 否 List<Flag> 源端映射是否为文本,默认值为false。 mapping_input 否 String 映射关系,可为空。 mapping_required 否 Boolean 是否需要映射关系,默认值为true。
导入导出Topic 概述 ROMA Connect支持导入导出消息集成的Topic,可以把Topic以文件形式导出到本地,也可以把本地的Topic文件导入ROMA Connect,实现Topic的批量迁移。