检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建数据集成任务(组合任务) 配置Oracle CDC(LogMiner) 配置Oracle CDC(XStream) 配置MySQL CDC(Binlog) 配置SQL Server CDC 创建组合任务 父主题: 数据集成指导
后端API配额 scripts String 脚本配额 datasource_used String 已使用的数据源数量 api_used String 已使用的后端API数量 状态码: 400 表4 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg
0-SNAPSHOT.jar & 以MQS数据源作为源端,MySQL作为目标端为例创建实时任务。 参考创建数据集成任务(普通任务)接入源端MQS数据源和目标端MySQL数据源,并创建实时任务。完成后运行任务,可以将源端MQS数据源中的数据,迁移到MySQL数据源的表中。 父主题: 数据集成开发指导
KafkaConsumer(config) var records = consumer.consume(topic, 5000, 10); var res = [] var iter = records.iterator() while (iter.hasNext())
Name:数据视图名称,自定义。 Index pattern:使用通配符形式匹配多个日志索引,例如“site_access_log_*”,表示匹配以site_access_log_开头的所有日志索引文件。 日志索引的名称格式为site_access_log_{es_index_name}_{current_date
数据源为FTP配置。 batch_num 否 Integer 迁移数量。 是否解析(is_parse)如果选择了是,表示解析的数据行数,最大值为1500000。 是否解析(is_parse)如果选择了否,表示文件数量,最大值为20000 数据源为FTP配置。 skip_header
数据集成组合任务 目标表中配置的RowId字段类型不正确导致写入数据失败 读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误
", "source_ds_type" : "MYSQL", "ext_info" : { "server_id" : 1665647763438 }, "target_ds_type" : "MYSQL", "total" : 1, "source_group"
PostgreSQL PostgreSQL连接器用于连接PostgreSQL数据库,负责建立和维护应用程序和PostgreSQL数据库之间的连接,并管理数据的传输。 PostgreSQL是一个特性齐全的开源的对象-关系型数据库。 PostgreSQL默认端口为5432,但是管理员可以根据需要将其更改为其他端口。
接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源 接入MRS HBase数据源 接入FI HBase数据源 接入Oracle数据源 接入SQL Server数据源 接入DAMENG数据源 接入POSTGRESQL数据源 接入SFTP数据源
选择实例所在的可用区,不同可用区之间物理隔离,但内网互通。 如果您需要提高ROMA Connect运行的可靠性,建议您将实例创建在不同的可用区内。 如果您需要较低的网络时延,建议您将实例创建在相同的可用区内。 CPU架构 根据当前环境所支持的CPU架构,可选择项有所不同,选择“x86计算”。
PostgreSQL PostgreSQL连接器用于连接PostgreSQL数据库,负责建立和维护应用程序和PostgreSQL数据库之间的连接,并管理数据的传输。 PostgreSQL是一个特性齐全的开源的对象-关系型数据库。 PostgreSQL默认端口为5432,但是管理员可以根据需要将其更改为其他端口。
约束与限制 您能创建的ROMA Connect资源数量与配额有关系,具体请参见配额说明。 更详细的限制请参见具体API的说明。 父主题: 使用前必读
接入POSTGRESQL数据源 概述 ABM支持把POSTGRESQL作为一个数据源,并用于模型采集。在使用POSTGRESQL数据源前,您需要先接入数据源。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“应用业务模型ABM
zrangebyscore/zrevrangebyscore zrange/zrevrange 键:有序集合的名称。 值:元素的成员值。 分数:元素的分数。 起始索引:分数最小值。 终止索引:分数最大值。 集合 srem sismember srandmember spop sadd 键:集合的名称。 值:元素的成员值。
"enterprise_project_id" : "0", "source_datasource_type" : "MYSQL", "target_datasource_type" : "MYSQL", "source_instance_name" : "roma-z00617033-not-delete"
配额说明 配额限制 配额是指用户在ROMA Connect实例中可创建的资源数量限制,具体的资源配额限制如下表所示。 在高并发情况下会出现略超最大配额数限制的情况,不影响资源的正常使用。 表1 实例资源配额限制 组件 资源 最大配额(个) 是否支持修改配额 集成应用 集成应用 100
接入PostgreSQL数据源 概述 ROMA Connect支持把PostgreSQL、开源openGauss数据库作为一个数据源,并用于数据集成任务或用于创建数据API。在使用该数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前
单次批量删除产品最大数量不能超过: {0} 减少单次批量删除产品的数量。 500 ROMA.00110013 The maximum number of devices to be deleted at a time cannot exceed {0}. 单次批量删除设备最大数量不能超过:
实例的API日志监控 方案概述 资源规划 准备Docker环境和镜像 修改Filebeat和ELK配置 部署Filebeat和ELK 配置索引生命周期策略(可选) 使用Kibana查看日志