云服务器内容精选

  • 表/文件同步支持的数据源类型 表/文件同步可以实现表或文件级别的数据同步。 支持单表同步的数据源(已支持的数据源即可作为源端,又可作为目的端组成不同链路)如下所示: 数据仓库 :DWS、 DLI Hadoop: MRS Hive、Apache Hive、MRS HBase、MRS Hudi、OpenSource ClickHouse、Apache HDFS、Doris 对象存储:OBS 文件系统:FTP、SFTP 关系型数据库:RDS(MySQL)、RDS(PostgreSQL)、RDS(SQL Server)、RDS(达梦数据库DM)、RDS(SAP HANA)、Oracle、GBASE 创建数据连接时也支持用户使用自建的数据库,如MySQL、PostgreSQL、SQL Server、达梦数据库DM、SAP HANA,在选择界面对应的RDS(MySQL)、RDS(PostgreSQL)、RDS(SQL Server)、RDS(达梦数据库DM)、RDS(SAP HANA)即可。 Apache HDFS目前仅支持作为源端数据源。 非关系型数据库:MongoDB、Redis 消息系统:DMS Kafka 搜索:Elasticsearch 其他:Rest Client 表1 表/文件迁移支持的数据源 数据源分类 源端数据源 对应的目的端数据源 说明 MySQL MySQL、PostgreSQL、 SQL Server、Oracle、 DWS、SAP HANA、OBS MRS Hive、MRS Hudi DLI、MongoDB、Doris、Kafka、ClickHouse、 CSS 、 Mrs-HBase 、GBASE8A、 Apache HDFS 、Redis、 Rocket MQ
  • 支持的数据源 实时集成作业支持的数据源如表1所示。 表1 实时集成作业支持的数据源 数据源分类 源端数据源 对应的目的端数据源 相关文档 关系型数据 MySQL Hadoop:MRS Hudi MySQL同步到MRS Hudi 消息系统:DMS Kafka MySQL同步到DMS Kafka 数据仓库:DWS MySQL同步到DWS SQLServer Hadoop:MRS Hudi(公测中) 说明: 该链路目前需申请白名单后才能使用。如需使用该链路,请联系客服或技术支持人员。 SQLServer同步到MRS Hudi PostgreSQL 数据仓库:DWS(公测中) 说明: 该链路目前需申请白名单后才能使用。如需使用该链路,请联系客服或技术支持人员。 PostgreSQL同步到DWS Oracle 数据仓库:DWS(公测中) 说明: 该链路目前需申请白名单后才能使用。如需使用该链路,请联系客服或技术支持人员。 Oracle同步到DWS Hadoop:MRS Hudi(公测中) 说明: 该链路目前需申请白名单后才能使用。如需使用该链路,请联系客服或技术支持人员。 Oracle同步到MRS Hudi 消息系统 DMS Kafka 对象存储:OBS DMS Kafka同步到OBS Apache Kafka Hadoop:MRS Kafka(公测中) 说明: 该链路目前需申请白名单后才能使用。如需使用该链路,请联系客服或技术支持人员。 Apache Kafka同步到MRS Kafka 父主题: 数据集成(实时作业)
  • 成本分配 成本管理的基础是树立成本责任制,让各部门、各业务团队、各责任人参与进来,为各自消耗云服务产生的成本负责。企业可以通过成本分配的方式,将云上成本分组,归集到特定的团队或项目业务中,让各责任组织及时了解各自的成本情况。 华为云成本中心支持通过多种不同的方式对成本进行归集和重新分配,您可以根据需要选择合适的分配工具。 通过关联账号进行成本分配 企业主客户可以使用关联账号对子客户的成本进行归集,从而对子账号进行财务管理。详细介绍请参见通过关联账号维度查看成本分配。 通过企业项目进行成本分配 在进行成本分配之前,建议开通企业项目并做好企业项目的规划,可以根据企业的组织架构或者业务项目来划分。在购买ROMA Connect实例时选择指定企业项目,新购云资源将按此企业项目进行成本分配。详细介绍请参见通过企业项目维度查看成本分配。 图2 为ROMA Connect实例选择企业项目 新版ROMA Connect实例暂不支持选择企业项目,企业项目默认为default。 使用成本单元进行成本分配 企业可以使用成本中心的“成本单元”来拆分公共成本。公共成本是指多个部门共享的计算、网络、存储或资源包产生的云成本,或无法直接通过企业项目、成本标签分配的云成本。这些成本不能直接归属于单一所有者,因此不能直接归属到某一类别。使用拆分规则,可以在各团队或业务部门之间公平地分配这些成本。详细介绍请参见使用成本单元查看成本分配。
  • 成本优化 成本控制 企业可以在成本中心的“预算管理”页面创建精细粒度的预算来管理成本和使用量,在实际或预测超过预算阈值时,自动发送通知给指定消息接收人。企业还可以创建预算报告,定期将指定预算进展通知给指定消息接收人。 例如企业需要创建一个ROMA Connect实例的按需成本预算,每月预算金额为20000元,当预测金额高于预算金额的80%时发送预算告警。那么,创建的预算如下: 图3 预算基本信息 图4 设置成本范围 图5 设置提醒 详细介绍请参见使用预测和预算来跟踪成本和使用量。 资源优化 您可以通过 云监控服务 监控资源的使用情况,评估当前配置是否过高。例如:CPU、内存、带宽等资源的利用率。也可以根据成本分析阶段的分析结果识别成本偏高的资源,然后采取针对性的优化措施。 计费模式优化 不同类型的业务对资源使用周期有不同的要求,为每一类业务确定合适的计费模式,灵活组合以达到最优效果。 针对长期稳定的成熟业务,使用包年/包月计费模式。 针对不能中断的短期、突增或不可预测的业务,使用按需计费模式。
  • 操作场景 安全云脑 支持一键接入WAF、HSS、OBS等多种华为云云产品的日志数据。接入后,可以统一管理日志信息,以及检索并分析所有收集到的日志。具体支持接入的云服务日志请参见支持接入的日志。 每个Region的首个工作空间可自动加载当前Region推荐接入的日志数据(未全部接入),无需手动处理。后续新增的用于自定义运营的工作空间,不会自动加载数据,需要用户自定义接入。 建议将安全云脑管理的资产以及资产的告警、基线检查结果、漏洞数据、日志数据接入同一个工作空间,便于统一运营,进行安全分析关联。 本章节介绍如何接入数据并查看日志存储位置。
  • 脚本配置示例 { "cache_key": { "system_params": [ "$context.sourceIp", "$context.requestId" ], "parameters": [ "demo_parameters" ], "headers": [ "demo_header" ] }, "cache_http_status_and_ttl": [ { "http_status": [ 200 ], "ttl": 300 } ], "client_cache_control": { "mode": "apps", "datas": [ "demo_app_id_1,demo_app_id_2" ] }, "cacheable_headers": [ "demo_cacheable_headers_1,demo_cacheable_headers_2" ] }
  • 集成应用概述 ROMA Connect通过集成应用来实现同一实例内不同用户间的资源隔离。用户在ROMA Connect实例中创建的资源(如数据源、API、Topic、产品等)都要有归属的集成应用,非管理员权限(Tenant Administrator权限)的 IAM 用户默认只能查看和管理自己创建的集成应用和资源,无法查看其他IAM用户创建的集成应用和资源,管理员权限的用户可查看和管理其下所有IAM用户所创建的资源。 如果需要把自己创建的资源共享给其他IAM用户查看和使用,可通过将集成应用授权给其他IAM用户的方式实现,具体操作可查看配置集成应用授权。
  • 创建集成应用 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“集成应用”,单击页面右上角的“创建集成应用”。 在创建集成应用弹窗填写应用信息,完成后单击“确认”。 参数 配置说明 名称 自定义应用名称。 描述 填写对该应用的描述内容,选填项。 Key 集成应用的Key,若未指定则由系统自动生成。 Secret 集成应用的Secret,若未指定则由系统自动生成。
  • 查看和编辑集成应用 在实例控制台的“集成应用”页面中,单击集成应用的名称,可查看该集成应用的详细信息。 图1 查看应用 表1 集成应用信息说明 内容 内容说明 基本信息 集成应用的基本参数信息,包括名称、描述、所属、创建时间、Key和Secret,其中Key和Secret可用于该集成应用下资源的访问认证。 您可以根据实际需要修改“名称”和“描述”信息。 您可以单击Secret右侧的“”查看Secret信息。 您可以根据实际需要重置密码,重置后旧密码自动失效。 对于账号用户,集成应用的所属均为“自建应用”。对于IAM用户,自己创建的集成应用为“自建应用”,其他IAM用户创建并授权的集成应用为“授权应用”。 对象 可查看和管理本集成应用下的资源,包括数据源、API、Topic和设备,您可对本集成应用下的资源进行创建、编辑、删除等操作,具体操作指导请参考数据源、API、Topic和设备的使用指导。
  • 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“FTP”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 协议 选择接入FTP数据源使用的协议,可选择“FTP”和“SFTP”。 连接地址 填写FTP数据源的连接地址和端口号。 用户名 FTP数据源的登录用户名。 密码 FTP数据源的登录密码。 连接模式 仅当“协议”选择“FTP”时需要配置。 选择FTP数据源的连接模式。 主动模式:FTP服务器主动连接客户端的数据端口。 被动模式:FTP服务器被动等待客户端连接自己的数据端口。 数据源的接入配置示例如下图所示。 图1 FTP数据源配置示例 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功!”,则继续下一步。 若测试结果为“数据源连接失败!”,则检查数据源状态和数据源连接参数配置,然后单击“重新检测”,直到连接成功为止。 单击“创建”,完成数据源的接入。
  • 集成能力规格 新版ROMA Connect各集成能力的产品规格根据分配的RCU数量不同而有所不同,具体每RCU对应的集成能力规格如表2所示。 以下性能数据根据实验室环境测出,与真实业务场景可能存在差异,不能作为真实业务性能承诺基线,具体业务使用性能规格应以实际测试报告为准。 数据集成中,消息类数据&非消息类数据任务数不随RCU值变化,开启后固定1000个。 表2 集成能力规格说明 集成能力 RCU分配指标 规格指标/RCU 最小分配RCU 最小调整RCU步长 组合应用(流运行) 运行中的Flow任务数量 30条 2 1 服务集成(API管理) API转发 1000TPS 2 1 托管API数量 100个 服务集成(数据API/函数API) 数据API/函数API转发 100TPS 2 1 自定义后端数量 50个 API流量 0.24Mbps 数据集成 非消息类数据流量 约2MBps,单任务最大4MBps 4 2 消息类数据流量 约5MBps,单任务最大10MBps 消息集成 消息流量 30MBps 3 1(仅支持调大RCU值,不支持缩小) 磁盘 500G 分区数 250个 设备集成 在线设备数 10000个 2 1 设备消息并发量 2500TPS 消息集成规格在以下条件中测试得出: 连接方式:内网连接 认证方式:SASL_SSL 数据大小:1KB/10KB 磁盘类型:超高I/O SSD 设备集成规格在以下条件中测试得出: 上行消息 连接方式:内网连接 消息大小:512byte 消息目的端:MQS Topic 数据集成规格在以下条件中测试得出: 分别执行以下三个任务场景,每个场景3个并发任务: mysql-mysql任务场景 obs-obs任务场景 kafka-kafka任务场景 读写100W数据 数据迁移量1G 服务集成规格在以下条件中测试得出: 后端类型:shubao 连接类型:长连接/短连接 链接协议: http/https 并发数:大于等于4000 认证方式:无认证 回数据大小:1KB 带宽:10MB 后端平均响应延时:10ms 后端类型:Livedata 连接类型:长连接/短连接 链接协议: http/https 并发数:大于等于400 认证方式:无认证 返回数据大小:1KB 带宽:10MB 后端平均响应延时:10ms
  • 推荐实例规格 使用新版ROMA Connect推荐的规格如下。 表1 推荐规格 支持的系统数 预估RCU个数 使用建议 5个以下 5个 一般用于小型企业 5~10个 20个 一般用于小型企业 10~20个 40个 一般用于中小型企业 20~30个 80个 一般用于中大型企业 30个以上 150个 一般用于大型企业 RCU个数和系统数仅用于ROMA Connect实例的规格选择参考,实际可创建的资源数量(如组合应用流数量、API数量和消息Topic数量)请参见配额限制。为了保证ROMA Connect的使用性能,请在规格范围内创建和使用资源。 系统数说明:系统指的是用户的业务系统,系统数指ROMA Connect实例集成对接的业务系统数量。一个业务系统与ROMA Connect实例之间可以有多个连接。 RCU说明:(ROMA Compute Unit)即ROMA计算单元,为新版ROMA Connect的能力计算单元。每个RCU可分配到不同的集成能力上,包括数据集成、服务集成、消息集成、设备集成、组合应用等。根据分配的RCU数量,各集成能力提供不同的性能规格,分配的RCU数量越多,集成能力的性能规格越高。 注意,每种集成能力有不同的起步RCU数量和步长。
  • 服务集成 服务集成中创建并开放的API,支持如下请求协议:RESTful、SOAP、WebSocket。 服务集成的自定义后端支持的数据源相关信息如表2所示。 表2 自定义后端支持的数据源 数据源类型 支持的版本 DWS 1.3.4 Gauss100 FusionInsight _LibrA_V100R003C20、FusionInsight_LibrA_V300R001C00 HANA 1.0 HIVE 2.3.2 MongoDB 3.4 MySQL 5.7,8.0 MRS HBase MRS 3.*.* MRS Hive MRS 3.*.* Oracle 11.2g(不推荐)、12.1g(不推荐)、12.2g、19c PostgreSQL 11.0 Redis 3.0.7、4.0.11 SQL Server 2014、2019、2022
  • 数据集成 数据集成任务支持的数据源相关信息如表1所示。 表1 数据集成支持的数据源 数据源类型 支持的版本 普通任务的源端 普通任务的目标端 组合任务的源端 组合任务的目标端 API - 支持 支持 不支持 不支持 ActiveMQ 5.15.9 支持 支持 不支持 不支持 ArtemisMQ 2.9.0 支持 支持 不支持 不支持 DB2 9.7 支持 支持 不支持 不支持 DIS - 支持 支持 不支持 不支持 DWS 1.3.4 支持 支持 不支持 不支持 DM 无版本号 支持 支持 不支持 不支持 FTP - 支持 支持 不支持 不支持 Gauss100 FusionInsight_LibrA_V100R003C20、FusionInsight_LibrA_V300R001C00 支持 支持 不支持 不支持 GaussDB (for MySQL) 2.0.15.6 支持 支持 不支持 不支持 HL7 2.1、2.2、2.3、2.3.1、2.4、2.5、2.6、2.7、2.8、2.8.1 支持 支持 不支持 不支持 HANA 1.0 支持 支持 支持 支持 IBM MQ 9.1 支持 支持 不支持 不支持 Kafka 1.1.0、2.3.0 支持 支持 不支持 支持 LDAP - 支持 不支持 不支持 不支持 MongoDB 3.4 支持 支持 不支持 不支持 MQS 无版本号 支持 支持 不支持 不支持 MRS Hive MRS 3.*.* 支持 支持 不支持 不支持 MRS HDFS MRS 3.*.* 支持 支持 不支持 不支持 MRS HBase MRS 3.*.* 支持 支持 不支持 不支持 MRS Kafka MRS 3.*.* 支持 支持 不支持 不支持 MySQL 5.7、8.0 支持 支持 支持 支持 OBS 3 支持 支持 不支持 不支持 Oracle 11.2g(不推荐)、12.1g(不推荐)、12.2g、19c 支持 支持 支持 支持 PostgreSQL 11 支持 支持 支持 支持 RabbitMQ 3.6.10 支持 支持 不支持 不支持 RocketMQ 4.7.0 支持 支持 不支持 不支持 Redis 3.0.7、4.0.11 不支持 支持 不支持 不支持 SAP SAP Java Connector 3.0.19 支持 不支持 不支持 不支持 SNMP v1、v2、v3 支持 不支持 不支持 不支持 SQL Server 2014、2019、2022 支持 支持 支持 支持 WebSocket - 支持 不支持 不支持 不支持 自定义数据源 - 支持 支持 不支持 不支持
  • 服务集成 表2 APIC约束与限制 功能模块 约束与限制 DataAPI响应体大小 DataAPI返回数据Body不能大于10M。 DataAPI返回数据条数数量 DataAPI默认从数据库拉取的条数为2000条,如果条数超过2000条,超出部分将无法返回。 DataAPI结果分页限制 DataAPI开启结果分页之后,Total数量最大为2000条,即请求单次能够拉取的数据量。 自定义后端Header限制 自定义后端Header不支持中文。 X-Apig-Mode已经被使用,不建议业务使用。 托管API透传请求大小限制 托管API的请求体大小不能大于2G。 函数API HttpClient 请求超时限制 最大超时时间30s,不支持设置。 跨域请求 Option的预请求如果用IP访问,则不能映射ROMA Connect入口IP,如果需要映射入口IP,则需要用 域名 访问。 签名认证时请求体大小 请求体大小可以在实例配置参数中配置(1-9536 M),但是APP认证签名开发时,只能签12M,如果请求体大于12M,签名会失败。 沙箱内存计算功能 APIC的沙箱内存大小的计算是因为JVM底层机制的缘故,无法精确计算,而是一个近似值。 资源新增与修改 新增或修改的APIC资源存在数据同步延迟,需要5-10秒才生效。