云服务器内容精选
-
操作场景 安全云脑 支持一键接入WAF、HSS、OBS等多种华为云云产品的日志数据。接入后，可以统一管理日志信息，以及检索并分析所有收集到的日志。具体支持接入的云服务日志请参见支持接入的日志。 每个Region的首个工作空间可自动加载当前Region推荐接入的日志数据（未全部接入），无需手动处理。后续新增的用于自定义运营的工作空间，不会自动加载数据，需要用户自定义接入。 本章节介绍如何接入数据并查看日志存储位置。
-
示例场景说明 本实践通过 DataArts Studio 服务的数据集成 CDM 组件、数据开发DLF组件和 数据仓库 服务（DWS）对电影评分原始数据进行分析，输出评分最高和最活跃Top10电影。您可以学习到数据集成模块的数据迁移和数据开发模块的脚本开发、作业开发、作业调度等功能，以及DWS SQL基本语法。 本入门示例涉及DataArts Studio数据集成、管理中心和数据开发模块，DataArts Studio各版本均可以满足使用要求。 操作流程如下： 准备工作，包括使用DataArts Studio前的准备、数据源准备、 数据湖 准备和认证数据准备。 创建数据迁移作业，将OBS数据迁移到DWS。 数据开发，包含创建DWS SQL脚本和开发作业。 创建DWS SQL脚本top_rating_movie（用于存放评分最高的Top10电影） 创建DWS SQL脚本top_active_movie（用于存放最活跃的Top10电影） 开发并调度作业，通过编排作业和配置作业调度策略，定期执行作业，使得用户可以每天获取到最新的Top10电影结果。 服务退订，如果不再使用DataArts Studio及相关服务，请及时进行退订和资源删除。 父主题： 初级版：基于DWS的电影评分数据集成与开发流程
-
支持接入的日志 安全云脑支持集成WAF、HSS、OBS等多种华为云云产品的日志数据。集成后，可以检索并分析所有收集到的日志，且默认存储7天。 表1 支持接入的日志 安全分类 服务 服务类型 日志 日志描述 支持的region 主机安全 主机安全服务（HSS） 租户侧云服务 hss-alarm 主机安全告警 华北-北京四、华南-广州、华东-上海一、华北-北京一、华北-北京二、华东-乌兰察布一（汇聚在华北-北京一）、华东-上海二、华东-青岛、华南-深圳（汇聚在华南-广州-友好用户环境）、西南-贵阳一、华东二 hss-vul 主机 漏洞扫描 结果 hss-log 主机安全日志 hss-baseline 主机安全基线 华北-北京四、华南-广州、华东-上海一、华北-北京一、华北-北京二、华东-上海二、华东-青岛、西南-贵阳一、华东二 应用安全 Web应用防火墙 （WAF） 租户侧云服务 waf-attack WAF攻击日志 华北-北京四、华南-广州、华东-上海一、华北-北京一、华北-北京二、华东-乌兰察布一、华东-上海二（汇聚在华东-上海一）、华东-青岛、华南-深圳（汇聚在华南-广州）、西南-贵阳一、华东二 waf-access WAF访问日志 API网关（APIG） 租户侧云服务 apig-access APIG请求日志 华北-北京四、华南-广州、华东-上海一、华北-北京一 云审计 服务（ CTS ） 租户侧云服务 cts-audit 云审计服务日志 华北-北京四、华南-广州、华东-上海一、华北-北京一、华北-北京二、华东-乌兰察布一、华东-上海二、华东-青岛、华南-深圳、西南-贵阳一、华东二 网络安全 NIP 华为设备 nip-attack IPS攻击日志 华北-北京四、华南-广州、华东-上海一、华北-北京二、华东-乌兰察布一、华东-上海二、华南-深圳、西南-贵阳一 亚太-新加坡、非洲-约翰内斯堡 DDoS 华为设备 ddos-attack DDoS攻击日志 华北-北京四、华南-广州、华东-上海一 云防火墙 （CFW） 租户侧云服务 cfw-block 访问控制日志 华北-北京四、华南-广州、华东-上海一、华北-北京二、华东-乌兰察布一、华东-上海二、华东-青岛、华南-深圳、西南-贵阳一、华东二 cfw-flow 流量日志 cfw-risk 攻击事件日志 运维安全 云堡垒机 （CBH） 租户侧云服务 cbh-audit 堡垒机 审计日志 华北-北京四、华南-广州、华东-上海一 数据安全 对象存储服务 （OBS） 租户侧云服务 obs-access 对象存储服务访问日志 华北-北京四、华南-广州、华东-乌兰察布一、华东-上海二 数据库安全服务（DBSS） 租户侧云服务 dbss-alarm DBSS告警日志 华北-北京四、华南-广州、华东-上海一、华北-北京二、华东-乌兰察布一、华南-深圳、西南-贵阳一、华东二 数据安全中心 （DSC） 租户侧云服务 dsc-alarm DSC告警日志 华北-北京四、华南-广州、华东-上海一、华北-北京一、华东-乌兰察布一、华东-上海二、华东-青岛、西南-贵阳一、华东二 身份安全 统一身份认证 服务（ IAM ） 租户侧云服务 iam-audit 统一身份认证服务审计日志 华北-北京四、华南-广州、华东-上海一、华北-北京一、华东-乌兰察布一、华东-上海二 云安全 威胁检测服务 （MTD） 租户侧云服务 mtd-alarm MTD告警日志 华北-北京四、华南-广州、华东-上海一、华北-北京二、华东-乌兰察布一 安全云脑（SecMaster） 租户侧云服务 secmaster-baseline 安全云脑基线 华北-北京四、华南-广州、华东-上海一、华北-北京一、华北-北京二、华东-乌兰察布一、华东-上海二、华南-深圳、西南-贵阳一、华东二 父主题： 数据集成
-
产品功能 表/文件/整库迁移 支持批量迁移表或者文件，还支持同构/异构数据库之间整库迁移，一个作业即可迁移几百张表。 增量数据迁移 支持文件增量迁移、关系型数据库增量迁移、HBase/CloudTable增量迁移，以及使用Where条件配合时间变量函数实现增量数据迁移。 事务模式迁移 支持当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。 字段转换 支持去隐私、字符串操作、日期操作等常用字段的数据转换功能。 文件加密 在迁移文件到文件系统时，CDM支持对写入云端的文件进行加密。 MD5校验一致性 支持使用MD5校验，检查端到端文件的一致性，并输出校验结果。 脏数据归档 支持将迁移过程中处理失败的、被清洗过滤掉的、不符合字段转换或者不符合清洗规则的数据单独归档到脏数据日志中，便于用户查看。并支持设置脏数据比例阈值，来决定任务是否成功。
-
CDM迁移原理 用户使用CDM服务时，CDM管理系统在用户VPC中发放全托管的CDM实例。此实例仅提供控制台和Rest API访问权限，用户无法通过其他接口（如SSH）访问实例。这种方式保证了CDM用户间的隔离，避免数据泄漏，同时保证VPC内不同云服务间数据迁移时的传输安全。用户还可以使用VPN网络将本地数据中心的数据迁移到云服务，具有高度的安全性。 CDM数据迁移以抽取-写入模式进行。CDM首先从源端抽取数据然后将数据写入到目的端，数据访问操作均由CDM主动发起，对于数据源（如RDS数据源）支持SSL时，会使用SSL加密传输。迁移过程要求用户提供源端和目的端数据源的用户名和密码，这些信息将存储在CDM实例的数据库中。保护这些信息对于CDM安全至关重要。 图2 CDM迁移原理
-
组合应用 ROMA Connect可通过组合应用进行应用的复合集成，通过开放的API和事件通道进行应用的多次组装，形成新的组合应用，实现业务快速复制创新，形成千人千面的集成体验。内置海量连接器，提供各种数据库、API、消息、SaaS应用等的连接器封装。同时提供自定义连接器框架，可快速按需扩展定制；提供丰富的预置组合应用集成模板和生态连接器，联合各行各业的伙伴积累行业资产，开箱即用。 表5 组合应用功能 功能 简介 组合应用 在画布页面对各种触发器、连接器、处理器进行编排和配置，组合成新的组合应用。 智能助手 智能助手通过NLP (Natural Language Processing) 机器学习，理解用户输入的集成业务需求，匹配系统支持的触发器、连接器和数据处理器，生成组合应用。可以对生成的组合应用进一步配置和编排，最后构建，部署上线。 组合应用模板 提供丰富的预置组合应用集成模板，帮助用户快速便捷的创建组合应用。 引用变量 用户在编辑设计组合应用时，可以通过变量的方式快速引用流任务中的输入输出信息和配置信息，帮助用户便捷高效的设计组合应用。 在线调试 创建组合应用和工作流并配置完成后，可对工作流进行在线调试，实时查看各个节点的运行信息，便于后续对工作流进行调整以满足业务需求。 监控统计 提供组合应用运行记录、系统日志、运行监控等监控信息统计。
-
LINK 设备集成（LINK）是ROMA Connect的设备集成组件。设备集成使用MQTT标准协议连接设备，帮助企业快速、简单地实现设备云端管理。 例如工业场景中，设备的信息和生产过程中的参数比较分散。生产线出现故障时，如果靠人工采集每一台设备的信息与参数，定位问题的过程缓慢。设备集成能够连接设备和IT系统、大数据平台，将设备的运行状态等信息上传到IT系统或大数据平台，实现所有设备的信息可视化，一旦生产线出现故障，企业能够快速定位问题。通过配置LINK的规则引擎，把设备参数的极限值输入到设备引擎里面，如果设备的实时参数一直在向极限值接近，就发出告警信息，提醒用户停止设备，对设备进行维护和保养。 表4 LINK功能 功能 简介 发布和订阅消息 LINK支持标准的MQTT协议，企业可以使用开源的标准MQTT设备端SDK将设备轻松接入云端，进行消息的发布和订阅。 实现设备与后端各应用的消息互通 用户可以在控制台配置规则引擎实现设备与其他设备、后端、其他云服务的消息互通。 LINK支持规则引擎转发数据到消息集成MQS。第三方服务通过MQS服务获取数据，实现设备与第三方服务的异步消息通信。 支持海量设备低延时接入 LINK支持Broker水平扩展，支持百万设备长连接。 支持设备与应用之间的双向同步 LINK支持物模型定义，模型与设备影子绑定。用户可以基于设备影子实现设备与应用之间配置数据、状态数据的双向同步。 一方面，用户可以通过API将配置参数设置到设备影子里，设备在线或上线时，都可以从设备影子获取配置参数。另一方面，设备可以将最新状态上报到设备影子。用户查询设备状态时，只需查询设备影子，而不必与设备进行直接网络通信。 保证信息传输的安全 LINK提供设备、应用授权认证及Topic的双向绑定授权，保障设备安全与唯一性，提供TLS标准的数据传输通道保障消息传输通道的安全。
-
MQS 消息集成（Message Queue Service，简称MQS）是ROMA Connect的消息集成组件。MQS支持Kafka协议，使用统一的消息接入机制，为企业提供跨网络访问的安全、标准化消息通道。 例如企业与合作伙伴使用的消息系统不一样，消息系统对接成本较高，而且难以保证对接之后消息传输的可靠性和安全性。企业之间可以约定使用Kafka通信协议，那么MQS可以作为消息中转站，提供安全、可靠的消息传输通道。企业创建多个topic，设置每个合作伙伴订阅topic的权限，然后将消息发布到多个topic中。合作伙伴通过订阅topic，获取topic内的消息。 表3 MQS功能 功能 简介 原生Kafka基础功能 MQS除了支持客户端连接后管理Topic和发布订阅消息，还支持在ROMA Connect控制台可视化操作，包括Topic创建和管理、用户管理与权限设置、消息查询等功能。 监控报警 MQS从实例、节点、Topic、消费组等多个维度，设立了不同监控指标，数据上报 云监控服务 ，企业可以在 云监控 服务的管理控制台查看相关监控数据。MQS支持企业配置告警规则，轻松实现监控数据概览与异常告警。 消息查看 MQS提供了可视化的消息查询功能，可在界面查看Topic中存储的消息数据，可以更直观方便的查看消息正文。
-
FDI 快速数据集成FDI（Fast Data Integration，简称FDI）是ROMA Connect的数据集成组件。FDI支持多种数据源（文本、消息、API、关系型数据和非关系型数据等）之间的灵活、快速、无侵入式的数据集成，可以实现跨机房、跨数据中心、跨云的数据集成方案，并能自助实施、运维、监控集成数据。 例如集团企业场景中，企业与合作伙伴使用的数据源不一样，难以形成企业之间有效的信息传输。FDI提供了多种数据源之间转换的方式，支持MySQL、Kafka、API等主流格式之间的转换。 表1 FDI功能 功能 简介 数据集成任务的生命周期管理 FDI支持修改数据集成任务的信息、查看数据集成任务的运行报告、查看数据集成任务的运行日志、查看数据集成任务状态，完成数据集成任务的生命周期管理功能。 灵活的数据读写 支持 MySQL、文本文件、消息、API等多种数据的分片读取和写入。 如果服务意外中断 ，修复服务之后FDI支持自动修复任务。 支持任务调度、任务监控、任务中断续读。 可靠的数据传输通道 FDI可以持续监测数据通道中的数据，支持100个以上的线程并发执行。FDI实时监测消息队列把数据实时写入目标队列。 任务调度 FDI提供全面、灵活、高可用的任务调度服务，支持通过API或以消息方式进行数据集成。按照时间、数据数量等任务触发规则来调度任务。根据任务配置，为插件分配任务，并监控和记录任务的执行状态。 企业根据不同的业务需求，可以选择不同的数据集成方式： 实时增量集成适用于需要实时监控数据变化的业务场景，例如收集生产线上设备的实时参数。 实时全量集成适用于需要实时监控所有历史数据的业务场景，例如统计供应商合作伙伴的出货量。 定时增量集成适用于监控一段时间内数据变化的业务场景，例如企业采用新的生产策略后，验证生产效率是否达到预期效果。 定时全量集成适用于监控一段时间内所有历史数据的业务场景，例如统计上下班高峰期内出入园区的车辆数目。 监控告警 对创建的数据集成任务的运行情况进行监控，并对异常的任务进行处理，保证业务正常运行。
-
APIC 服务集成APIC（API Connect，简称APIC）是ROMA Connect的API集成组件。APIC将数据和后端服务以API形式开放，简化分享数据或提供服务的过程，降低企业之间对接的成本。APIC提供不同语言的SDK和示例代码，简化企业以API形式开放后端服务的过程。 例如集团与各地区子公司的IT系统集成，直接访问对方各类数据库方式过于复杂，且容易发生信息泄露风险，如果以API方式互相开放访问，同时加强API调用安全防护，就能实现跨网络跨地域协同办公。 表2 APIC功能 功能 简介 API生命周期管理 APIC提供包括API的创建、发布、下线和删除的完整生命周期管理功能。 便捷调试工具 APIC提供页面调试工具，简化API开发，降低API的维护成本。 版本管理 一个API可以发布不同的版本到不同的环境，以满足业务版本升级等需求。 流量控制 用于管控API的请求频率、用户的请求频率和应用的请求频率。 流量控制的时间单位可以是秒、分钟、小时或天。允许设置特殊的应用，不受到流量控制策略的影响。 监控统计 提供实时、可视化的API监控，包括：API请求次数、API调用错误信息。 环境变量 当API发布到不同环境时，一般通过在API调用的请求头增加指定的头部参数及特殊取值区分不同的环境。发布过程中变量标识会根据环境的变量值进行替换，保证API本身定义不变。 自定义后端 包括自定义Data API与自定义Function API。 自定义Data API指企业将数据库作为API后端服务接入APIC，将数据服务能力转换为REST接口的能力。 自定义Function API，类似简化版的函数服务，在APIC后端编写自定义脚本或函数，作为API后端服务，供前端统一调用。
-
集成能力规格 新版ROMA Connect各集成能力的产品规格根据分配的RCU数量不同而有所不同，具体每RCU对应的集成能力规格如表2所示。 以下性能数据根据实验室环境测出，与真实业务场景可能存在差异。 数据集成中，消息类数据&非消息类数据任务数不随RCU值变化，开启后固定1000个。 表2 集成能力规格说明 集成能力 RCU分配指标 规格指标/RCU 最小分配RCU 最小调整RCU步长 组合应用(流运行) 运行中的Flow任务数量 30条 2 1 服务集成(API管理) API转发 1000TPS 2 1 托管API数量 100个 服务集成(数据API/函数API) 数据API/函数API转发 100TPS 2 1 自定义后端数量 50个 API流量 0.24Mbps 数据集成 非消息类数据流量 约2MBps，单任务最大4MBps 4 2 消息类数据流量 约5MBps，单任务最大10MBps 消息集成 消息流量 30MBps 3 1（仅支持调大RCU值，不支持缩小） 磁盘 500G 分区数 250个 设备集成 在线设备数 10000个 2 1 设备消息并发量 2500TPS 消息集成规格在以下条件中测试得出： 连接方式：内网连接 认证方式：SASL_SSL 数据大小：1KB/10KB 磁盘类型：超高I/O SSD 设备集成规格在以下条件中测试得出： 上行消息 连接方式：内网连接 消息大小：512byte 消息目的端：MQS Topic 数据集成规格在以下条件中测试得出： 分别执行以下三个任务场景，每个场景3个并发任务： mysql-mysql任务场景 obs-obs任务场景 kafka-kafka任务场景 读写100W数据 数据迁移量1G 服务集成规格在以下条件中测试得出： 后端类型：shubao 连接类型：长连接/短连接 链接协议： http/https 并发数：大于等于4000 认证方式：无认证 回数据大小：1KB 带宽：10MB 后端平均响应延时：10ms 后端类型：Livedata 连接类型：长连接/短连接 链接协议： http/https 并发数：大于等于400 认证方式：无认证 返回数据大小：1KB 带宽：10MB 后端平均响应延时：10ms
-
推荐实例规格 使用新版ROMA Connect推荐的规格如下。 表1 推荐规格 支持的系统数 预估RCU个数 使用建议 5个以下 5个 一般用于小型企业 5~10个 20个 一般用于小型企业 10~20个 40个 一般用于中小型企业 20~30个 80个 一般用于中大型企业 30个以上 150个 一般用于大型企业 RCU个数和系统数仅用于ROMA Connect实例的规格选择参考，实际可创建的资源数量（如组合应用流数量、API数量和消息Topic数量）请参见配额限制。为了保证ROMA Connect的使用性能，请在规格范围内创建和使用资源。 系统数说明：系统指的是用户的业务系统，系统数指ROMA Connect实例集成对接的业务系统数量。一个业务系统与ROMA Connect实例之间可以有多个连接。 RCU说明：（ROMA Compute Unit）即ROMA计算单元，为新版ROMA Connect的能力计算单元。每个RCU可分配到不同的集成能力上，包括数据集成、服务集成、消息集成、设备集成、组合应用等。根据分配的RCU数量，各集成能力提供不同的性能规格，分配的RCU数量越多，集成能力的性能规格越高。 注意，每种集成能力有不同的起步RCU数量和步长。
-
设备集成 表4 LINK约束与限制 功能模块 约束与限制 设备上报消息大小限制上限 不超过512KB。 命令下发消息大小限制上限 设备导入导出支持的文件类型 只支持csv文件。 产品导入导出支持的文件类型 规则导入导出支持的文件类型 设备导入文件大小限制上限 上限为200M。 产品导入文件大小限制上限 规则导入文件大小限制上限 服务端MQTT QoS等级限制 只支持QoS0、QoS1，不支持QoS2。 Modbus设备使用限制 Modbus设备不支持命令下发。 设备接入协议限制 只支持MQTT、OpcUA、Modbus协议。
-
服务集成 表2 APIC约束与限制 功能模块 约束与限制 DataAPI响应体大小 DataAPI返回数据Body不能大于10M。 DataAPI返回数据条数数量 DataAPI默认从数据库拉取的条数为2000条，如果条数超过2000条，超出部分将无法返回。 DataAPI结果分页限制 DataAPI开启结果分页之后，Total数量最大为2000条，即请求单次能够拉取的数据量。 自定义后端Header限制 自定义后端Header不支持中文。 X-Apig-Mode已经被使用，不建议业务使用。 托管API透传请求大小限制 托管API的请求体大小不能大于2G。 函数API HttpClient 请求超时限制 最大超时时间30s，不支持设置。 跨域请求 Option的预请求如果用IP访问，则不能映射ROMA Connect入口IP，如果需要映射入口IP，则需要用 域名 访问。 签名认证时请求体大小 请求体大小可以在实例配置参数中配置（1-9536 M），但是APP认证签名开发时，只能签12M，如果请求体大于12M，签名会失败。 沙箱内存计算功能 APIC的沙箱内存大小的计算是因为JVM底层机制的缘故，无法精确计算，而是一个近似值。 资源新增与修改 新增或修改的APIC资源存在数据同步延迟，需要5-10秒才生效。
-
消息集成 表3 MQS约束与限制 功能模块 约束与限制 消息大小限制上限 上限不超过10M。 节点故障场景 实例中有部分节点故障时，将无法进行Topic管理类操作（如创建、删除）。 Topic导入 仅支持导入xlsx、xls和csv格式文件。 导入文件中的描述信息不能以=号开头，并且如果有换行符，将会进行转义。 单个导入文件中，Topic数不能超过100。 Topic导出 仅支持导出xlsx、xls和csv格式文件。 消息查询数量 单次消息查询数量最多500条。 单IP连接数 通过内网连接地址连接，每个客户端IP的连接数上限为1000；通过公网访问时，实例总的连接数上限为1000。 Topic老化时间限制 通过界面创建/修改Topic时，老化时间配置上限为168小时。
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格
