检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Connect的交互即为连接,使用不同功能所占用的连接数不同,具体的资源和连接数换算关系如下。 数据集成:2个运行状态的数据集成任务占用1个连接。 服务集成:10个托管类API(非自定义后端发布生成的API)占用1个连接;5个函数API或数据API占用1个连接。 消息集成:3个消息Topic占用1个连接。 设备集成:1000个设备占用1个连接。
1分钟 broker_memory_usage 内存使用率 统计MQS节点虚拟机的内存使用率。 ≥0 单位:百分比 节点 1分钟 broker_heap_usage Kafka进程JVM堆内存使用率 统计MQS节点Kafka进程JVM中的堆内存使用率。 ≥0 单位:百分比 节点 1分钟
Connect支持把DWS(数据仓库服务)作为一个数据源,并用于数据集成任务或用于创建数据API。在使用DWS数据源前,您需要先接入数据源。 请使用PostgreSQL数据源类型来对接DWS数据库(DWS数据源类型不推荐使用,但因历史原因,暂不下线)。 前提条件 每个接入的数据源都要归属到某个集成应用下,
使用方式: SQL语句由三个部分组成:Select语句、From语句和Where语句。JSON格式的数据分为两种:带有单引号或双引号的是常量数据,不带任何引号的是变量数据。 SELECT语句中的字段是JSON消息Key里面的值,支持SQL内置的函数。您可以参考表5,获取其他SQL函数的
创建连接器 概述 ROMA Connect提供了常见的数据源连接支持,如关系型数据库、消息队列、API、NoSQL、对象存储等,这些数据源可以直接在ROMA Connect中使用,您只需要接入数据源,创建并启动数据集成任务,就可以将您的源端数据集成到目标端。 如果ROMA Con
选择PostgreSQL数据源所属的集成应用,在接入数据源时已配置。 源端数据类型 选择“PostgreSQL”。 数据源名称 选择接入数据源中已配置的PostgreSQL数据源。 插入SQL 选择是否使用SQL语句来获取源端数据。 开启,表示ROMA Connect根据填写的SQL语句来获取源端数据。
单击“创建”,完成MQS数据源的接入。 接入MySQL数据源。 在“数据源管理”页面单击右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“MySQL”数据源类型,然后单击“下一步”。 在页面中填写MySQL数据源的相关配置信息。 表2 数据源配置参数 参数
图5 设置提醒 详细介绍请参见使用预测和预算来跟踪成本和使用量。 资源优化 您可以通过云监控服务监控资源的使用情况,评估当前配置是否过高。例如:CPU、内存、带宽等资源的利用率。也可以根据成本分析阶段的分析结果识别成本偏高的资源,然后采取针对性的优化措施。 计费模式优化 不同类型的业
参数类型 描述 minSize 否 String 占用磁盘大小,单位(K、M、G)。范围:1-10000。 top 否 String 占用磁盘大小,查询top N。范围:1-1000。 percentage 否 String 占用磁盘大小,查询大于占比的分区。范围:1-100。 请求参数
的集成能力上,包括数据集成、服务集成、消息集成、设备集成、组合应用等。根据分配的RCU数量,各集成能力提供不同的性能规格,分配的RCU数量越多,集成能力的性能规格越高。 连接器 ROMA Connect支持常见的数据源类型,如关系型数据库、大数据存储、半结构化存储、消息系统等。如果ROMA
关联,无需配置。 目标端集成应用 选择目标端MySQL数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“MySQL”。 数据源名称 选择接入数据源中已配置的MySQL数据源。 目标端表 选择集成数据要写入MySQL数据库中的数据表。 选择数据表后,单击“选择表字段”,可以选择要写入数据的列字段。
this operation”错误 Mysql到Mysql时源端报“Illegal mix of collations for operation 'UNION'”错误 源端Mysql增量采集每小时执行一次时部分数据丢失 API到MySQL时源端报“401 unauthorized”错误
1073741824}"} max_cpu_time 允许函数API中执行的CPU时间占用的最高时长。单位:毫秒。 60000 ms 1-1000000 ms max_memory 允许函数API中执行的内存大小。单位:字节。 256 M 1-9536 M livedata_config
同步复制客户端需要配合使用:acks=-1 配置发送失败重试:retries=3 发送优化:linger.ms=0 生产端的JVM内存要足够,避免内存不足导致发送阻塞 Topic使用建议 配置要求:推荐3副本。 单Topic最大分区数建议为20。 Topic副本数为3(当前版本限制,不可调整)。
nsight_LibrA_V300R001C00 MySQL 5.6,5.7,8.0 MRS HBase MRS 3.*.* MRS Hive MRS 3.*.* Oracle 11g PostgreSQL 11.0 SQL Server 2012、2014、2016、2017 DWS
设置数据源类型,可以为"mysql","mssql","oracle","postgresql","hive","redis","mongodb" 输入参数 type:类型 public void setUrl(String url) 设置数据源连接字符串。 如果数据源类型为"mysql","mssql"
OPENGAUSS:GaussDB数据源 MYSQL:MySQL数据源 ORACLE:Oracle数据源 POSTGRESQL:PostgreSQL数据源 SQLSERVER:SQL Server数据源 TAURUS:GAUSSDB(FOR MYSQL)数据源 DIS:DIS数据源 DWS:DWS数据源
数据库 MySQL Redis DB2 GaussDB DWS Milvus Oracle PostgreSQL Sql Server 父主题: 连接器
oracle:oracle数据源类型 mysql:mysql数据源类型 mongodb:mongodb数据源类型 redis:redis数据源类型 postgresql:postgresql/opengauss数据源类型 hive:hive数据源类型 mssql:sqlserver数据源类型 sqlserver:sqlserver数据源类型
创建数据集成任务(组合任务):组合任务,通过CDC(Change Data Capture,数据变更抓取)实现源端到目标端数据的实时同步及增量同步,支持一个源端多个数据表到一个目标端多个数据表的集成同步。当前支持Oracle、MySQL、SQL Server等几种关系型数据库,具体请参见数据库的CDC配置。 启动集成任务。