检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Data Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 本章节主要介绍如何为SQL Server数据库开启CDC功能。 前提条件 若SQL Server数据库为主从模式,不支持使用SQL
照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 是否使用JDBC字符串
定义了使用者如何调用这个API。第二部分面向API提供者,由API提供者定义这个API的真实的后端情况,定义了ROMA Connect如何去访问真实的后端服务。API的真实后端服务目前支持的类型:传统的HTTP/HTTPS形式的web后端、函数工作流、MOCK。 调试 您可以在API
API管理 创建API 修改API 删除API 发布或下线API 查询API详情 查询API列表 批量发布或下线API 调试API 切换API版本 查看版本详情 根据版本编号下线API 查询API历史版本列表 查询API运行时定义 校验API定义 父主题: 服务集成API
表名 填写要插入数据的数据表名。 插入数据 填写插入操作中目标字段的值。 表3 更新记录 参数 说明 表名 填写要更新数据的数据表名。 更新数据 填写更新操作中目标字段的值。 WHERE条件 填写要更新数据的条件。 表4 删除记录 参数 说明 表名 填写要删除数据的数据表名。 WHERE条件
获取数据源配置文件 MRS Hive MRS HDFS MRS HBase MRS Kafka 父主题: 附录
API发布到不同环境后,会调用不同的后端服务吗? 使用环境变量,或者在后端服务定义不同的参数,可以实现API发布到不同环境时,调用不同的后端服务。 父主题: 服务集成
Topic主题 日志要推送的目标Kafka Topic名称。 Key 填写消息的Key值,表示消息存储在Kafka的指定分区,可以当成有序消息队列使用。如果Key为空,则消息分布式存储在不同的消息分区。 失败重试分配 日志推送到Kafka失败后的重试配置。 重试次数:失败后的重试次数,范围为0-5次。
查看消息内容 概述 ROMA Connect提供了可视化的消息查询功能,可在控制台界面查看Topic中存储的消息数据,可以更直观方便的查看消息正文。 同一时间只能查询一个Topic的消息。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。
企业数据以API形式开放共享 方案概述 通过数据API开放数据 通过函数API开放数据
数据集成参数说明 RawFormDataRequest RawFormDataResponse 父主题: 附录
MRS Hive数据源测试连接失败 原因分析 可能是以下两种原因导致: MRS Hive的配置文件中使用的私网IP,私网IP与FDI数据面IP不通导致连接失败。 HDFS URL填写了根目录hdfs:///hacluster,机机交互用户名填写的用户不具备管理员权限导致连接失败。
连接器定义了针对某种数据源的规范,连接器实例则对应了具体的RESTful服务,所以需要指定RESTful连接地址 (由部署的用户服务器地址决定)。 图3 发布连接器 接入自定义数据源。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“自定义数据源”页签
在导出Topic弹窗中选择要导出文件的格式,然后单击“导出”,导出Topic文件到本地。 当前支持导出xlsx、xls和csv格式文件。若Topic数据中含有英文逗号(,)时,请勿选择导出csv格式文件,否则会导致csv格式文件解析异常。 导出文件中,“类型”字段表示Topic的集成应用权
配置检索 概述 帮助用户精确检索到目标数据资产,快速掌握数据的信息架构和分布情况等重要信息。 前提条件 已完成相关数据的采集,数据采集操作参考采集技术模型和录入业务模型。 操作步骤 登录ROMA Connect,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“应用业务模型ABM
destination_name String 目标数据源名称。 最小长度:0 最大长度:255 topic String 目标数据源主题。 最小长度:0 最大长度:64 server String 目标端数据源服务。 最小长度:0 最大长度:200 token String 目标端数据源Token。 最小长度:0
开放API 创建API分组 创建负载通道(可选) 创建API 调试API 创建发布环境和环境变量(可选) 发布API 绑定域名 配置API授权(可选) 父主题: 服务集成指导(旧版界面)
配置索引生命周期策略(可选) ElasticSearch存储的数据,默认未设置过期时间,用户可根据磁盘空间情况,为ElasticSearch数据设置索引生命周期策略。 创建生命周期策略 登录Kibana可视化界面。 访问地址:IP:Port 其中,IP为ELK所部署服务器的IP;
返回结果 状态码 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于获取用户Token接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请求
选择已创建的前端类型自定义认证。 前端请求协议 选择前端API使用的请求协议,可选择“HTTP”、“HTTPS”和“HTTP&HTTPS”,传输重要或敏感数据时推荐使用HTTPS。 后端超时 (ms) 后端服务请求的超时时间,默认为60000ms。 重试次数 ROMA Connect调用后端服务失败后的重试次数。