检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MQS消息堆积最佳实践 方案概述 Kafka将Topic划分为多个分区,消息被分布式存储在分区中。同一个消费组内,一个消费者可同时消费多个分区,但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中,如果客户端的消费速度跟不上服务端的发送速度,未处理的消息会越来越多,这部分
Connect内分配唯一的ID和密钥,使设备可以连接到ROMA Connect上的LINK中。 数据转发 ROMA Connect不会直接存储设备上报的数据,您需要配置数据转发规则,把设备数据转发到其他服务进行存储。可以把数据转发到ROMA MQS,也可以转发到Kafka、DIS等其他服务。 接入设备 设备在集成MQTT客户端后即可接入到ROMA
7版本。 消息集成(MQS)容量阈值策略 实例中MQS消息存储达到容量阈值时(存储空间的95%)的处理策略,请根据您的业务需要选择。 生产受限:拒绝消息生产请求,直到有消息到达老化时间被删除,腾出存储空间后(剩余存储空间大于5%),才能接收新的消息生产请求。此策略适用于消息消费
规则,对日志数据进行拆分和过滤,然后将解析后的日志数据发送到ELK的ElasticSearch进行存储。 ELK的ElasticSearch接收到日志数据后,生成日志数据的索引并存储数据,为Kibana的可视化显示提供聚合搜索和数据分析的支撑。 用户使用ELK的Kibana创建日
数据库之间的连接,并管理数据的传输。 MySQL是一个流行的开源关系型数据库,广泛用于Web应用程序的后端。它支持多种操作系统,包括Windows、Linux、Unix和macOS X。MySQL以其高性能、可靠性和灵活性而闻名,是许多企业和开发人员的首选数据库。 MySQL默认
事件网格 事件网格(EventGrid,简称EG)是华为云提供的一款Serverless事件总线服务,支持华为云服务、自定义应用、SaaS应用以标准化、中心化的方式接入事件网格,通过标准化的CloudEvents协议在这些应用之间以灵活方式路由事件,帮助您轻松构建松耦合、分布式的事件驱动架构。
可通过该配置项进行路由配置。 付费信息 实例的计费模式。 RCU分布配置 分布给不同集成能力的RCU值。 消息存储空间 实例的MQS消息存储空间信息,包括存储类型和存储空间使用率(百分比)。 MQS基本信息 实例的MQS的基本配置信息。 对应Kafka引擎类型,您可以根据实际需要修改“容量阈值策略”。
自定义后端开发(数据后端) SQL语法 存储过程调用 多个数据源编排 可选参数的使用 父主题: 服务集成开发指导
流任务的结束时间。 运行ID 流任务的运行ID。 运行时间 流任务的运行时间。 状态 流任务的运行状态。 (可选)配置访问日志,实现异常监控日志的存储。 如果组合应用未启动,请单击“启动并配置运行记录”,选择一个实例启动此组合应用。 如果组合应用已启动,单击“点击开启”弹出“运行记录配置”窗口,然后配置日志接入信息。
连接数 实例中占用连接数的各资源数量,具体的资源和连接数换算关系请参见连接数说明。 付费信息 实例的计费模式。 消息存储空间 实例的MQS消息存储空间信息,包括存储类型和存储空间使用率(百分比)。 MQS基本信息 实例的MQS的基本配置信息。 您可以根据实际需要修改“容量阈值策略”。 连接地址
创建数据集成任务(普通任务) 配置任务基本信息 配置源端数据信息 配置目标端数据信息 配置数据映射规则 配置异常数据存储(可选) 配置任务完成后执行(可选) 父主题: 数据集成指导
查询Topic列表 创建Topic 修改Topic 删除Topic 批量删除Topic 导入Topic 导出Topic 下载证书 查询topic的磁盘存储情况 父主题: 消息集成API
7版本,根据实际情况选择。 消息集成(MQS)容量阈值策略 实例中MQS消息存储达到容量阈值时(存储空间的95%)的处理策略,请根据您的业务需要选择。 生产受限:拒绝消息生产请求,直到有消息到达老化时间被删除,腾出存储空间后(剩余存储空间大于5%),才能接收新的消息生产请求。此策略适用于消息消费
一般场景:数据量*(1+副本数)*1.7 峰值场景:数据量*(1+副本数)*2.6 其中,数据量为存储的日志文件总大小,即200MB*日志文件数;本实践中,ElasticSearch的副本数为1。 ElasticSearch存储的数据,默认未设置过期时间,用户可根据磁盘空间情况,为ElasticSearch数据配置索引生命周期策略。
华为云服务 函数工作流 短信服务 消息通知 对象存储服务 数据安全中心 图像识别 文字识别 人脸识别 CodeArts Artifact CodeArts Build CodeArts Check CodeArts Deploy CodeArts Req CodeArts Pipeline
数据安全中心 数据安全中心服务连接器用于对接华为云数据安全中心服务。 数据安全中心服务(Data Security Center,DSC)是新一代的云化数据安全平台,提供数据分级分类、数据安全风险识别、数据水印溯源和数据静态脱敏等基础数据安全能力,通过资产地图整合数据安全生命周期
Topic主题 日志要推送的目标Kafka Topic名称。 Key 填写消息的Key值,表示消息存储在Kafka的指定分区,可以当成有序消息队列使用。如果Key为空,则消息分布式存储在不同的消息分区。 失败重试配置 日志推送到Kafka失败后的重试配置。 重试次数:失败后的重试次数,范围为0-5次。
fka所有消息数据迁移到ROMA Connect实例。 若原Kafka的Topic为单副本存储,ROMA Connect实例中的Topic为3副本存储,则建议ROMA Connect实例存储空间为原Kafka的3倍。 父主题: 消息集成指导
Connect可以将这些数据以文本文件的形式存储在OBS中。 表3 异常数据存储信息 参数 配置说明 源数据类型 当前仅支持选择“OBS”。 应用 选择对应的应用。 数据源名称 选择已配置的OBS数据源。 Path 填写异常数据要存储到OBS数据源的对象名。Path的值不能以斜杠(/)结尾。
创建数据后端 创建函数后端 环境与环境变量 环境是指API的受限使用范围,API只有在发布到环境后,才能被调用。API可以被发布到不同的自定义环境中,如开发环境、测试环境等。RELEASE是默认存在的环境,也是正式发布环境。 环境变量是指在环境上创建的一种变量,该变量固定在环境上。