检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。
参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层
定时器 定时器是一种能够按照预定的时间间隔触发特定操作的触发器。它可以在设定的时间周期内周期性地触发操作,也可以在指定的时间点触发操作。定时器常用于实现定时任务、定时调度等功能。 支持的动作 每分钟触发 每小时触发 每周触发 每月触发 固定时间间隔触发 配置参数 表1 每分钟触发
填写用于接入认证的MongoDB数据库名,即使用MongoDB的哪个数据库对接入用户进行认证。不填写则默认使用当前要接入的数据库对用户进行认证。 数据库名 填写要接入的数据库名。 集群模式 要接入的MongoDB数据库是否为集群模式。 若接入的MongoDB数据库为集群模式,则选择“是”。
e时需要配置。 最小长度:4 最大长度:2147483647 mode 否 String 数据源连接模式,有三种:default (默认模式)、professional (专业模式)、multiAddress (多地址)。 数据源为DWS、MONGODB、REDIS、HANA时配置default。
仅当“可见范围”选择“集成应用”时需要配置。 选择策略所属的集成应用。若没有可用的集成应用,可单击右侧的“新建集成应用”,创建一个集成应用。 描述 填写策略的描述信息。 策略内容:支持表单模式和脚本模式两种方式,脚本模式配置请参见脚本配置示例。 流控类型 选择流控的类型,推荐使用高性能流控。 高精度流
最大长度:64 source_datasource_name String 源端数据源的名称。 最小长度:1 最大长度:64 target_datasource_name String 目标端数据源的名称。 最小长度:1 最大长度:64 source_app_id String 源端数据源所属集成应用ID。
成任务支持的数据源。 若ROMA Connect默认支持的数据源类型无法满足您的数据集成场景,您还可以自定义数据源,具体请参见接入自定义数据源。 支持灵活的集成模式 ROMA Connect支持定时和实时两种集成模式: 定时:根据制定的任务计划,定时获取源端数据并集成到目标端。
ple时需要配置。 最小长度:4 最大长度:2147483647 mode String 数据源连接模式,有三种:default (默认模式)、professional (专业模式)、multiAddress (多地址)。 数据源为DWS、MONGODB、REDIS、HANA时配置default。
支持的数据与协议 数据集成 数据集成任务支持的数据源相关信息如表1所示。 表1 数据集成支持的数据源 数据源类型 支持的版本 普通任务的源端 普通任务的目标端 组合任务的源端 组合任务的目标端 API - 支持 支持 不支持 不支持 ActiveMQ 5.15.9 支持 支持 不支持
0。 连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 连接字符串 仅当“连接模式”选择“专业”时需要配置。 填写Gauss100数据库的JDBC格式连接串,格式:j
集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接模式 选择连接数据库模式。 默认:由系统根据用户配置自动拼接数据源连接字符串。 专业:由用户自己输入数据源连接字符串。 连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名
{dbname}为要接入的数据库名。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 编码格式 仅当“连接模式”选择“默认”时需要配置。 填写数据库所使用的编码格式。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 数据源的接入配置示例如下所示。
集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接模式 选择连接数据库模式。 默认:由系统根据用户配置自动拼接数据源连接字符串。 专业:由用户自己输入数据源连接字符串。 连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名
向DWS写入数据时越来越慢怎么解决 原因分析 查看界面上的采集数据,如果写入数据耗时在秒级,属于正常的情况。如果写入几千条数据超过5秒,一般是性能劣化的表现。 解决方案 如果对DWS的某个表频繁访问,会导致写入性能逐渐降低,需要对DWS进行调优,例如,定时使用analyze规划表、VACUUM
集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 协议 选择接入FTP数据源使用的协议,可选择“FTP”和“SFTP”。 连接地址 填写FTP数据源的连接地址和端口号。 用户名 FTP数据源的登录用户名。 密码 FTP数据源的登录密码。 连接模式 仅当“协议”选择“FTP”时需要配置。
“数据转换”连接器用于数据流的格式转换,当前支持XML转JSON和JSON转XML。 配置参数 参数 说明 转换模式 选择数据转换的模式,可选择“XML转JSON”和“JSON转XML”。 内容 通过脚本编写需要转换的数据。 可通过变量的方式引用前序步骤中的数据,请参考引用变量。 父主题:
在页面中配置数据源的连接信息,如下表所示。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。
填写任务的名称,根据规划自定义。建议您按照一定的命名规则填写任务名称,方便您快速识别和查找。 描述 填写任务的描述信息。 集成模式 选择数据集成的模式。 定时:指数据集成任务根据任务计划,在指定的时间执行任务,将源端数据集成到目标端。 实时:指数据集成任务不断检测源端数据的变更,并实时将新增的数据集成到目标端。
您可以单击“实例ID”右侧的“”复制实例ID信息。 付费信息 实例的计费模式。 连接数 实例中占用连接数的各资源数量,具体的资源和连接数换算关系请参见连接数说明。 MQS基本信息 实例的MQS的基本配置信息。您可以根据实际需要修改“容量阈值策略”。 连接地址 实例的相关对接地址,包括: