云服务器内容精选

  • 成本分配 成本管理的基础是树立成本责任制,让各部门、各业务团队、各责任人参与进来,为各自消耗云服务产生的成本负责。企业可以通过成本分配的方式,将云上成本分组,归集到特定的团队或项目业务中,让各责任组织及时了解各自的成本情况。 华为云成本中心支持通过多种不同的方式对成本进行归集和重新分配,您可以根据需要选择合适的分配工具。 通过关联账号进行成本分配 企业主客户可以使用关联账号对子客户的成本进行归集,从而对子账号进行财务管理。详细介绍请参见通过关联账号维度查看成本分配。 通过企业项目进行成本分配 在进行成本分配之前,建议开通企业项目并做好企业项目的规划,可以根据企业的组织架构或者业务项目来划分。在购买ROMA Connect实例时选择指定企业项目,新购云资源将按此企业项目进行成本分配。详细介绍请参见通过企业项目维度查看成本分配。 图2 为ROMA Connect实例选择企业项目 新版ROMA Connect实例暂不支持选择企业项目,企业项目默认为default。 使用成本单元进行成本分配 企业可以使用成本中心的“成本单元”来拆分公共成本。公共成本是指多个部门共享的计算、网络、存储或资源包产生的云成本,或无法直接通过企业项目、成本标签分配的云成本。这些成本不能直接归属于单一所有者,因此不能直接归属到某一类别。使用拆分规则,可以在各团队或业务部门之间公平地分配这些成本。详细介绍请参见使用成本单元查看成本分配。
  • 成本优化 成本控制 企业可以在成本中心的“预算管理”页面创建精细粒度的预算来管理成本和使用量,在实际或预测超过预算阈值时,自动发送通知给指定消息接收人。企业还可以创建预算报告,定期将指定预算进展通知给指定消息接收人。 例如企业需要创建一个ROMA Connect实例的按需成本预算,每月预算金额为20000元,当预测金额高于预算金额的80%时发送预算告警。那么,创建的预算如下: 图3 预算基本信息 图4 设置成本范围 图5 设置提醒 详细介绍请参见使用预测和预算来跟踪成本和使用量。 资源优化 您可以通过 云监控服务 监控资源的使用情况,评估当前配置是否过高。例如:CPU、内存、带宽等资源的利用率。也可以根据成本分析阶段的分析结果识别成本偏高的资源,然后采取针对性的优化措施。 计费模式优化 不同类型的业务对资源使用周期有不同的要求,为每一类业务确定合适的计费模式,灵活组合以达到最优效果。 针对长期稳定的成熟业务,使用包年/包月计费模式。 针对不能中断的短期、突增或不可预测的业务,使用按需计费模式。
  • 脚本配置示例 { "cache_key": { "system_params": [ "$context.sourceIp", "$context.requestId" ], "parameters": [ "demo_parameters" ], "headers": [ "demo_header" ] }, "cache_http_status_and_ttl": [ { "http_status": [ 200 ], "ttl": 300 } ], "client_cache_control": { "mode": "apps", "datas": [ "demo_app_id_1,demo_app_id_2" ] }, "cacheable_headers": [ "demo_cacheable_headers_1,demo_cacheable_headers_2" ] }
  • 创建集成应用 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“集成应用”,单击页面右上角的“创建集成应用”。 在创建集成应用弹窗填写应用信息,完成后单击“确认”。 参数 配置说明 名称 自定义应用名称。 描述 填写对该应用的描述内容,选填项。 Key 集成应用的Key,若未指定则由系统自动生成。 Secret 集成应用的Secret,若未指定则由系统自动生成。
  • 查看和编辑集成应用 在实例控制台的“集成应用”页面中,单击集成应用的名称,可查看该集成应用的详细信息。 图1 查看应用 表1 集成应用信息说明 内容 内容说明 基本信息 集成应用的基本参数信息,包括名称、描述、所属、创建时间、Key和Secret,其中Key和Secret可用于该集成应用下资源的访问认证。 您可以根据实际需要修改“名称”和“描述”信息。 您可以单击Secret右侧的“”查看Secret信息。 您可以根据实际需要重置密码,重置后旧密码自动失效。 对于账号用户,集成应用的所属均为“自建应用”。对于 IAM 用户,自己创建的集成应用为“自建应用”,其他IAM用户创建并授权的集成应用为“授权应用”。 对象 可查看和管理本集成应用下的资源,包括数据源、API、Topic和设备,您可对本集成应用下的资源进行创建、编辑、删除等操作,具体操作指导请参考数据源、API、Topic和设备的使用指导。
  • 集成应用概述 ROMA Connect通过集成应用来实现同一实例内不同用户间的资源隔离。用户在ROMA Connect实例中创建的资源(如数据源、API、Topic、产品等)都要有归属的集成应用,非管理员权限(Tenant Administrator权限)的IAM用户默认只能查看和管理自己创建的集成应用和资源,无法查看其他IAM用户创建的集成应用和资源,管理员权限的用户可查看和管理其下所有IAM用户所创建的资源。 如果需要把自己创建的资源共享给其他IAM用户查看和使用,可通过将集成应用授权给其他IAM用户的方式实现,具体操作可查看配置集成应用授权。
  • 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“FTP”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 协议 选择接入FTP数据源使用的协议,可选择“FTP”和“SFTP”。 连接地址 填写FTP数据源的连接地址和端口号。 用户名 FTP数据源的登录用户名。 密码 FTP数据源的登录密码。 连接模式 仅当“协议”选择“FTP”时需要配置。 选择FTP数据源的连接模式。 主动模式:FTP服务器主动连接客户端的数据端口。 被动模式:FTP服务器被动等待客户端连接自己的数据端口。 数据源的接入配置示例如下图所示。 图1 FTP数据源配置示例 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功!”,则继续下一步。 若测试结果为“数据源连接失败!”,则检查数据源状态和数据源连接参数配置,然后单击“重新检测”,直到连接成功为止。 单击“创建”,完成数据源的接入。
  • 集成能力规格 新版ROMA Connect各集成能力的产品规格根据分配的RCU数量不同而有所不同,具体每RCU对应的集成能力规格如表2所示。 以下性能数据根据实验室环境测出,与真实业务场景可能存在差异,不能作为真实业务性能承诺基线,具体业务使用性能规格应以实际测试报告为准。 数据集成中,消息类数据&非消息类数据任务数不随RCU值变化,开启后固定1000个。 表2 集成能力规格说明 集成能力 RCU分配指标 规格指标/RCU 最小分配RCU 最小调整RCU步长 组合应用(流运行) 运行中的Flow任务数量 30条 2 1 服务集成(API管理) API转发 1000TPS 2 1 托管API数量 100个 服务集成(数据API/函数API) 数据API/函数API转发 100TPS 2 1 自定义后端数量 50个 API流量 0.24Mbps 数据集成 非消息类数据流量 约2MBps,单任务最大4MBps 4 2 消息类数据流量 约5MBps,单任务最大10MBps 消息集成 消息流量 30MBps 3 1(仅支持调大RCU值,不支持缩小) 磁盘 500G 分区数 250个 设备集成 在线设备数 10000个 2 1 设备消息并发量 2500TPS 消息集成规格在以下条件中测试得出: 连接方式:内网连接 认证方式:SASL_SSL 数据大小:1KB/10KB 磁盘类型:超高I/O SSD 设备集成规格在以下条件中测试得出: 上行消息 连接方式:内网连接 消息大小:512byte 消息目的端:MQS Topic 数据集成规格在以下条件中测试得出: 分别执行以下三个任务场景,每个场景3个并发任务: mysql-mysql任务场景 obs-obs任务场景 kafka-kafka任务场景 读写100W数据 数据迁移量1G 服务集成规格在以下条件中测试得出: 后端类型:shubao 连接类型:长连接/短连接 链接协议: http/https 并发数:大于等于4000 认证方式:无认证 回数据大小:1KB 带宽:10MB 后端平均响应延时:10ms 后端类型:Livedata 连接类型:长连接/短连接 链接协议: http/https 并发数:大于等于400 认证方式:无认证 返回数据大小:1KB 带宽:10MB 后端平均响应延时:10ms
  • 推荐实例规格 使用新版ROMA Connect推荐的规格如下。 表1 推荐规格 支持的系统数 预估RCU个数 使用建议 5个以下 5个 一般用于小型企业 5~10个 20个 一般用于小型企业 10~20个 40个 一般用于中小型企业 20~30个 80个 一般用于中大型企业 30个以上 150个 一般用于大型企业 RCU个数和系统数仅用于ROMA Connect实例的规格选择参考,实际可创建的资源数量(如组合应用流数量、API数量和消息Topic数量)请参见配额限制。为了保证ROMA Connect的使用性能,请在规格范围内创建和使用资源。 系统数说明:系统指的是用户的业务系统,系统数指ROMA Connect实例集成对接的业务系统数量。一个业务系统与ROMA Connect实例之间可以有多个连接。 RCU说明:(ROMA Compute Unit)即ROMA计算单元,为新版ROMA Connect的能力计算单元。每个RCU可分配到不同的集成能力上,包括数据集成、服务集成、消息集成、设备集成、组合应用等。根据分配的RCU数量,各集成能力提供不同的性能规格,分配的RCU数量越多,集成能力的性能规格越高。 注意,每种集成能力有不同的起步RCU数量和步长。
  • 服务集成 服务集成中创建并开放的API,支持如下请求协议:RESTful、SOAP、WebSocket。 服务集成的自定义后端支持的数据源相关信息如表2所示。 表2 自定义后端支持的数据源 数据源类型 支持的版本 DWS 1.3.4 Gauss100 FusionInsight _LibrA_V100R003C20、FusionInsight_LibrA_V300R001C00 HANA 1.0 HIVE 2.3.2 MongoDB 3.4 MySQL 5.7,8.0 MRS HBase MRS 3.*.* MRS Hive MRS 3.*.* Oracle 11.2g(不推荐)、12.1g(不推荐)、12.2g、19c PostgreSQL 11.0 Redis 3.0.7、4.0.11 SQL Server 2014、2019、2022
  • 数据集成 数据集成任务支持的数据源相关信息如表1所示。 表1 数据集成支持的数据源 数据源类型 支持的版本 普通任务的源端 普通任务的目标端 组合任务的源端 组合任务的目标端 API - 支持 支持 不支持 不支持 ActiveMQ 5.15.9 支持 支持 不支持 不支持 ArtemisMQ 2.9.0 支持 支持 不支持 不支持 DB2 9.7 支持 支持 不支持 不支持 DIS - 支持 支持 不支持 不支持 DWS 1.3.4 支持 支持 不支持 不支持 DM 无版本号 支持 支持 不支持 不支持 FTP - 支持 支持 不支持 不支持 Gauss100 FusionInsight_LibrA_V100R003C20、FusionInsight_LibrA_V300R001C00 支持 支持 不支持 不支持 GaussDB (for MySQL) 2.0.15.6 支持 支持 不支持 不支持 HL7 2.1、2.2、2.3、2.3.1、2.4、2.5、2.6、2.7、2.8、2.8.1 支持 支持 不支持 不支持 HANA 1.0 支持 支持 支持 支持 IBM MQ 9.1 支持 支持 不支持 不支持 Kafka 1.1.0、2.3.0 支持 支持 不支持 支持 LDAP - 支持 不支持 不支持 不支持 MongoDB 3.4 支持 支持 不支持 不支持 MQS 无版本号 支持 支持 不支持 不支持 MRS Hive MRS 3.*.* 支持 支持 不支持 不支持 MRS HDFS MRS 3.*.* 支持 支持 不支持 不支持 MRS HBase MRS 3.*.* 支持 支持 不支持 不支持 MRS Kafka MRS 3.*.* 支持 支持 不支持 不支持 MySQL 5.7、8.0 支持 支持 支持 支持 OBS 3 支持 支持 不支持 不支持 Oracle 11.2g(不推荐)、12.1g(不推荐)、12.2g、19c 支持 支持 支持 支持 PostgreSQL 11 支持 支持 支持 支持 RabbitMQ 3.6.10 支持 支持 不支持 不支持 RocketMQ 4.7.0 支持 支持 不支持 不支持 Redis 3.0.7、4.0.11 不支持 支持 不支持 不支持 SAP SAP Java Connector 3.0.19 支持 不支持 不支持 不支持 SNMP v1、v2、v3 支持 不支持 不支持 不支持 SQL Server 2014、2019、2022 支持 支持 支持 支持 WebSocket - 支持 不支持 不支持 不支持 自定义数据源 - 支持 支持 不支持 不支持
  • 设备集成 表4 LINK约束与限制 功能模块 约束与限制 设备上报消息大小限制上限 不超过512KB。 命令下发消息大小限制上限 设备导入导出支持的文件类型 只支持csv文件。 产品导入导出支持的文件类型 规则导入导出支持的文件类型 设备导入文件大小限制上限 上限为200M。 产品导入文件大小限制上限 规则导入文件大小限制上限 服务端MQTT QoS等级限制 只支持QoS0、QoS1,不支持QoS2。 Modbus设备使用限制 Modbus设备不支持命令下发。 设备接入协议限制 只支持MQTT、OpcUA、Modbus协议。
  • 服务集成 表2 APIC约束与限制 功能模块 约束与限制 DataAPI响应体大小 DataAPI返回数据Body不能大于10M。 DataAPI返回数据条数数量 DataAPI默认从数据库拉取的条数为2000条,如果条数超过2000条,超出部分将无法返回。 DataAPI结果分页限制 DataAPI开启结果分页之后,Total数量最大为2000条,即请求单次能够拉取的数据量。 自定义后端Header限制 自定义后端Header不支持中文。 X-Apig-Mode已经被使用,不建议业务使用。 托管API透传请求大小限制 托管API的请求体大小不能大于2G。 函数API HttpClient 请求超时限制 最大超时时间30s,不支持设置。 跨域请求 Option的预请求如果用IP访问,则不能映射ROMA Connect入口IP,如果需要映射入口IP,则需要用 域名 访问。 签名认证时请求体大小 请求体大小可以在实例配置参数中配置(1-9536 M),但是APP认证签名开发时,只能签12M,如果请求体大于12M,签名会失败。 沙箱内存计算功能 APIC的沙箱内存大小的计算是因为JVM底层机制的缘故,无法精确计算,而是一个近似值。 资源新增与修改 新增或修改的APIC资源存在数据同步延迟,需要5-10秒才生效。
  • 消息集成 表3 MQS约束与限制 功能模块 约束与限制 消息大小限制上限 上限不超过10M。 节点故障场景 实例中有部分节点故障时,将无法进行Topic管理类操作(如创建、删除)。 Topic导入 仅支持导入xlsx、xls和csv格式文件。 导入文件中的描述信息不能以=号开头,并且如果有换行符,将会进行转义。 单个导入文件中,Topic数不能超过100。 Topic导出 仅支持导出xlsx、xls和csv格式文件。 消息查询数量 单次消息查询数量最多500条。 单IP连接数 通过内网连接地址连接,每个客户端IP的连接数上限为1000;通过公网访问时,实例总的连接数上限为1000。 Topic老化时间限制 通过界面创建/修改Topic时,老化时间配置上限为168小时。
  • 数据集成 表1 FDI约束与限制 功能模块 约束与限制 数据同步 支持同步的单条数据最大为8M。 时间格式的字段支持的最大精度为秒级别。 表名不支持“-”、“#”等特殊字符。 任务启动后修改表结构会导致任务异常,需要重新启动执行任务。 目标端不支持映射字段全部为主键的表。 仅支持至少一次(at least once)交付,不支持精确一次(exactly once)交付,即无法保证数据不会重复,因此需依赖主键及目标系统的能力来确保数据一致性。 数据源采集文件时,并发任务支持的总文件大小不超过800M。 说明: 仅适用于OBS、FTP、MRS HDFS数据源。例如,并发执行2个OBS任务,2个FTP任务,则4个任务累加起来的文件大小不能超过800M。 FTP数据源类型 FTP数据源解析模式下支持的最大文件大小为200M,超过200M的文件将自动跳过,不进行采集;解析的数据行数最大为1500000;不解析模式下,支持的最大文件大小为6M,最大文件数量为20000。 说明: FTP数据源之间多个文件同步统计,代表的是本次同步的文件的数量。 OBS数据源类型 OBS数据源解析模式下支持的最大文件大小为200M,超过200M的文件将自动跳过,不进行采集;不解析模式下支持的最大文件大小为6M,总的文件大小不超过200M。 MRS数据源类型 只支持对接开启了kerberos认证的MRS集群。 只支持结构化数据。 MRS Hive数据源类型 Hive读写文件格式只支持rcfile和textfile类型。 MRS Hive作为源端最大只支持100万数据量表的同步。 API数据源类型 超时时间为60秒,服务端响应时间若超过60秒会触发任务执行报错。 API作为源端,单次请求最大支持读取的数据大小为20M,超过此大小必须分页分批读取。 API作为源端,只支持常量参数,不支持动态传递参数。 API作为目标端,不支持将源端获取到的数据映射到目标端的Headers中。 kafka数据源类型 当前SASL连接方式只支持对接ROMAConnect自带的MQS服务,用户自建的kakfa服务只支持明文方式对接。 Oracle数据库类型 只支持以下字段类型,不支持小写字段。 CHAR、VARCHAR、DATE、NUMBER、FLOAT、LONG、NCHAR、NVARCHAR2、RAW、TIMESTAMP Oracle系统与ROMA Connect服务器之间的系统时间差需要小于2分钟。 SQL Server数据库类型 只支持以下字段类型: BIT、CHAR、DATE、DATETIME、DECIMAL、FLOAT、IMAGE、INT、MONEY、NUMERIC MySQL数据库类型 只支持以下字段类型: INT、BIGINT、TINYINT、MEDIUMINT、FLOAT、DOUBLE、DECIMAL、CHAR、VARCHAR、TINYTEXT、TEXT、MEDIUMTEXT、LONGTEXT、DATETIME、TIMESTAMP、SMALLINT、YEAR、BINARY、JSON PostgreSQL/DWS数据库类型 只支持以下字段类型: BOOL、CIDR、CIRCLE、DATE、NUMERIC、FLOAT4、FLOAT8、MONEY、PATH、POINT、INT、TIMESTAMP、TIMETZ、UUID、VARBIT、VARCHAR 在FDI任务中为目标端时,为提升写入性能,默认不支持批次号选项以及常量设置。若用户对性能无特殊要求,需要支持批次号选项及常量设置功能,请联系技术支持处理。 Redis数据库类型 Redis数据源作为目标端时,源端为时间类型的字段,如datetime或者date,在写入目标端后,如果需要显示为“yyyy-MM-dd HH:mm:ss”格式,那么字段类型需要选择为string,然后选择相应的date或者datetime数据格式。 DIS数据库类型 源端进行数据采集时,一个通道只支持一个任务运行。 WebSocket数据库类型 创建数据集成任务时,“是否解析”选择“是”时,“元数据”中的“解析路径”必须配置,否则任务会失败。 关系型数据库类型 最大只支持1000万数据量的表同步。 组合任务(CDC) 源端: 定时:支持MySQL、Oracle、SQL Server、PostgreSQL、Hana。 实时:支持MySQL、Oracle、SQL Server。 目标端: 定时:支持MySQL、Oracle、PostgreSQL、SQL Server、Hana。 实时:支持MySQL、Oracle、PostgreSQL、SQL Server、Kafka。 目标端的表必须要有主键,否则会影响数据同步一致性。 Oracle作为源端数据源时,仅支持表名、字段名都是大写的表。 Oracle作为目标端数据源时,不支持小写字段的表。 在编辑已创建的组合任务并新增源表时,源表中必须有数据。 组合任务支持的表名最大长度为64,若表名中有中文,则一个中文按3个长度计算。 自动映射会读取源库和目标库中前2000张表的所有字段信息,读取总耗时受数据库性能、表字段数量以及网络速率影响,若总耗时超过了接口超时时间(1分钟),则会自动映射失败,此为产品正常使用约束,此情况下建议使用手动配置方式。 组合实时任务定义中不支持二进制字段。 MySQL Schema任务最多支持十组Schema映射,总表数最多2000张。 编排任务 目标端不支持每次执行任务时先清空目标表的功能。 不支持设置常量,设置常量指的是目标端某些字段的值可以指定写入固定值,不依赖源端数据。 创建编排任务时,如果有多个目标端,设置连线时“批次号格式”以第一个连线设置的为准,其他连线设置不同时,均以第一个连线为准。例如:第一个连线设置为UUID,第二个、第三个设置为yyyyMMddHHmmss时,最终均以UUID格式为准。