检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建实例时为什么无法查看子网和安全组等信息? ROMA Connect对用户资源实现了严格的权限管理。 创建实例时,如果无法查看虚拟私有云、子网、安全组、弹性IP,可能原因是该用户无Server Administrator和VPC Administrator权限。 增加权限的详细步骤请参考修改用户组权限。
多品牌、多种类的生产设备要实现实时监控管理,则设备数据与环境数据需要采集和上传,不同品牌和种类的设备,使用的数据格式、数据库标准不一。 难以预防设备故障 工厂流水线上,任何一台机器出现故障,会对整条流水线产生巨大的影响。 难以优化企业的生产策略和决策 因为收集到的数据格式不一,给数据分析带来了难度,
附录:如何提高消息处理效率 消息生产和消费的可靠性必须由ROMA Connect、生产者和消费者协同工作才能保证,对使用ROMA Connect的生产者和消费者有如下的使用建议。 重视消息生产与消费的确认过程 消息生产 生产消息后,生产者需要根据ROMA Connect的返回信息
MRS Hive、MRS HBase和MongoDB的Mapping映射手动输入时,是否区分大小写? Mapping映射时会区分大小写,源端字段、目标端字段都必须和所选择的字段大小写一致。若不一致,MRS Hive和MRS HBase将会运行异常,MongoDB数据库不受影响,运行正常。
本方案中,消费者业务启用多个消费客户端,分别从原Kafka和ROMA Connect消费消息,然后将生产业务切到ROMA Connect,这样能确保所有消息都被及时消费。 该方案中消费业务会在一段时间内同时消费原Kafka和ROMA Connect。由于在迁移生产业务之前,消费业务就已经运行在ROMA
MRS Hive目标字段和源端字段数据类型不匹配时,数据是否能集成到目标端? 目标端MRS Hive和源端字段数据类型不匹配时,例如源端字段为datetime,目标端字段为date,数据可以集成到目标端,但是数据类型不匹配的字段值会为NULL,其他字段正常集成。 父主题: 数据集成普通任务
String 是 主题名称。 group_name String 是 消费组名称。长度不超过249位的字符串,包含a~z,A~Z,0~9、中划线(-)和下划线(_)。 ack_wait Integer 否 提交确认消费的超时时间,客户端需要在该时间内提交消费确认,如果超过指定时间,没有确认消
查看监控指标 概述 云监控服务(Cloud Eye)可以监控和查看云服务的运行状态、各个指标的使用情况,并对监控项创建告警规则。 当您开通ROMA Connect服务后,云监控服务会自动关联ROMA Connect的监控指标,帮助您实时掌握ROMA Connect的各项性能指标,精确掌握ROMA
this SSL certificate and domain name does not exist. 指定SSL证书和域名的绑定记录不存在 检查SSL证书和域名的绑定记录是否存在 404 APIG.9996 The request URL does not exist 请求的地址不存在
配置信息和日志信息。 您可以根据集成模式、任务状态和任务名称等筛选要查看的任务。(编排任务无任务信息页面) 表1 任务信息说明 内容 内容说明 任务信息 任务的基本信息,包括任务名称、任务ID、集成模式、任务状态等。 任务详情 任务的配置信息,包括源端信息、目标端信息和Mappi
当云服务资源不再使用时,可以将他们退订或删除,从而避免继续收费。详细介绍请参见停止计费。 成本管理 使用ROMA Connect时,成本主要分为资源成本和运维成本。您可以从成本分配、成本分析和成本优化三方面来管理成本。详细介绍请参见成本管理。
方面进行处理。 消费者端 根据实际业务需求,合理增加消费者个数(消费并发度),建议消费者数量和分区数保持一致。 提高消费者的消费速度,通过优化消费者处理逻辑(减少复杂计算、第三方接口调用和读库操作),减少消费时间。 增加消费者每次拉取消息的数量:拉取数据/处理时间 >= 生产速度。
应用现状 在数字化转型过程中,一些大型企业的业务系统数据格式多样化,难以在业务系统间形成有效信息传输。如何实现多种数据类型之间灵活、快速的数据集成和转换,成为企业数字化转型所面临的重要问题。 比如企业中不同业务系统数据的存储格式、存储位置各不相同,当一个业务系统需要获取另一个业务系统的某
Consumer不能频繁加入和退出group,频繁加入和退出,会导致Consumer频繁做rebalance,阻塞消费。 Consumer数量不能超过Topic分区数,否则会有Consumer拉取不到消息。 Consumer需周期poll,维持和server的心跳,避免心跳超时
是否必选 参数类型 描述 name 是 String 后端API名称。 支持汉字、英文、数字、中划线、下划线、点、斜杠、中英文格式下的小括号和冒号、中文格式下的顿号,且只能以英文、汉字和数字开头。 最小长度:3 最大长度:100 path 是 String 后端API请求路径。 支
值接近,就发出告警信息,提醒用户停止设备,对设备进行维护和保养。 表4 LINK功能 功能 简介 发布和订阅消息 LINK支持标准的MQTT协议,企业可以使用开源的标准MQTT设备端SDK将设备轻松接入云端,进行消息的发布和订阅。 实现设备与后端各应用的消息互通 用户可以在控制台
端,后续若检测到新增数据,则将其集成到目标端。 若两个数据集成任务分别使用了不同版本的MRS数据源(包含MRS Hive、MRS HDFS和MRS HBase),且该MRS数据源均开启了Kerberos认证,则这两个数据集成任务不能同时运行,否则会导致集成任务运行失败。 任务列表
Connect注册设备中创建的集成应用。 权限 为Topic所属的集成应用选择对Topic的操作权限,此处选择“发布+订阅”,即该Topic可用于生产和消费消息。 分区数 合理设置分区数量,可以提升消息生产与消费的并发性能。 副本数 ROMA Connect会自动在每个副本上备份数据,当其中
权限类型对应的标签。 当权限类型是all时,发布和订阅的标签用符号“&”隔开。 当有多个标签时,标签用符号“||”隔开。 description 否 String 描述。长度0-1000字符。输入值首字符不能为"="、"+"、 "-"、"@"的全角和半角字符。 sensitive_word
除)。 Topic导入 仅支持导入xlsx、xls和csv格式文件。 导入文件中的描述信息不能以=号开头,并且如果有换行符,将会进行转义。 单个导入文件中,Topic数不能超过100。 Topic导出 仅支持导出xlsx、xls和csv格式文件。 消息查询数量 单次消息查询数量最多500条。