事件流-华为云

事件网格 EG-配置专享版事件流作业

配置专享版事件流作业登录事件网格控制台，本章节以配置Kafka事件流作业为例介绍。在左侧导航栏选择“事件流＞专享版事件流作业”，进入“专享版事件流作业”页面。图1 专享版事件流作业页面先停用事件流作业，再单击操作列“修改配置”按钮，进入“基础配置”页面，此处只能修改“作业名称”和“描述”。单击“下一步：源和目标对象配置”，进入“源和目标对象配置”页面。图2 源数据和目标数据配置表1 源数据目标数据配置参数是否支持修改说明参数是否支持修改配置类型否。实例别名否。区域否。项目否。 Kafka实例否。接入方式是，支持“明文接入”或“密文接入”。安全协议是。当选择明文接入时，安全协议为“PLAINTEXT”。当选择“密文接入”时，安全协议可选择“SASL_SSL”或“SASL_PLAINTEXT”；认证机制可选择“SC RAM -SHA-512”或“PLAIN”。用户名请输入用户名。说明：当接入方式选择“密文接入”时需配置。密码请输入密码。说明：当接入方式选择“密文接入”时需配置。单击“下一步：高级配置”，进入“高级配置”页面。图3 高级配置表2 作业对象配置参数是否支持修改说明参数是否支持修改 Topic匹配类型是，可选择“正则匹配”或“精确匹配”。说明：当选择“正则匹配”时需在下方输入“Topic正则”。当选择“精确匹配”时需选择“Topics”。副本数是。说明：自动创建的Topic副本数，不能超过目标端Kafka的Broker数量。同步消费进度是。说明：开启时表示将消息消费进度同步到目标Kafka。启动偏移量否。压缩算法是，可选择压缩算法为“none”、“gzip”、“snappy”、“lz4”或“zstd”。单击“下一步：预检查”，进入“预检查”页面，完成后单击“完成配置”。图4 预检查父主题：专享版事件流作业

事件网格 EG 专享版事件流作业

事件网格 EG-RocketMQ同步RocketMQ:前提条件

前提条件业务有自己的源RocketMQ和目标RocketMQ。源RocketMQ和目标RocketMQ实例支持的版本：4.x、5.x。源RocketMQ和目标RocketMQ实例的规格、Broker数量、存储空间需保持一致。确保vpc、子网、RocketMQ等资源充足。确保源端和目标端实例与用户创建事件流集群时选择的VPC网络互通。创建VPC和子网的操作指导请参考创建虚拟私有云和子网。

事件网格 EG 创建专享版事件流作业

事件网格 EG-RocketMQ同步RocketMQ:操作步骤

操作步骤登录事件网格控制台。在左侧导航栏选择“事件流＞专享版事件流作业”，进入“专享版事件流作业”页面。图1 专享版事件流作业页面右上角单击“创建作业”，进入“基础配置”。配置“基本配置”信息。图2 基本配置表1 作业基本配置参数说明参数说明集群选择已创建的集群，如未创建，请参见专享版事件流集群。作业名称请输入作业名称。场景类型当前默认为同步。描述请输入对本作业的描述。单击“下一步：源和目标对象配置”，进入“源和目标对象配置”页面。图3 源数据和目标数据配置表2 源数据和目标数据配置参数说明参数说明配置类型默认为“Rocketmq实例”。说明：配置类型根据实例类型变更。实例别名请输入实例别名。说明：用于标识源端和目标端实例，建议同一个源端或目标端实例只设置一个别名。区域请选择资源所在区域。项目请选择项目。 Rocketmq实例请选择Rocketmq实例。用户名请输入用户名。密钥请输入密钥。单击“下一步：高级配置”，进入“高级配置”页面。图4 高级配置 RocketMQ同步事件流当前仅支持同步普通消息和顺序消息。若您配置Topic的消息类型是其它类型时，则该消息类型的Topic消息将不会被同步。表3 作业对象配置参数说明参数说明 Topic匹配类型选择“正则匹配”或“精确匹配”。说明：当选择“正则匹配”时需在下方输入“Topic正则”。示例：.* 表示匹配所有Topic，topic.* 表示匹配所有以topic为前缀的Topic。当选择“精确匹配”时需选择“Topics”。同步消费进度请选择是否打开。说明：开启时表示将消息消费进度同步到目标Rocketmq。启动偏移量请选择为“最早”、“最新”或“自定义”。压缩算法请选择压缩算法为“none”、“lz4”、“zstd”或“zlib”。单击“下一步：预检查”，进入“预检查”页面，完成后单击“完成配置”。图5 预检查返回专享版事件流作业列表，单击刚才创建的事件流名称，进入“基本信息”页面，选择“作业管理”，可以查看“同步进展详情”。图6 Rocketmq事件流同步进展详情表4 参数说明参数名称说明 Topic名称创建RocketMQ实例时的Topic。队列数创建Topic时设置的队列个数。待同步数当前Topic队列数中未同步的消息数量。

事件网格 EG 创建专享版事件流作业

事件网格 EG-RocketMQ预检查:源端连通性检查

源端连通性检查检查事件流作业所在运行时机器是否能正常连接到源端RocketMQ实例。原因一：无法连接源端RocketMQ实例，请检查网络配置是否正确。解决方案：进入RocketMQ的控制台页面，检查源端实例状态是否正常。检查事件流集群创建页面中配置的vpc和子网是否与源端RocketMQ实例网络畅通。原因二：无法连接源端RocketMQ实例，请检查填写的实例信息是否正确。解决方案：进入RocketMQ的控制台页面，检查源端实例状态是否正常。检查事件流集群创建页面中配置的vpc和子网是否与源端实例网络畅通。检查配置专享版事件流作业的第二步，即“源和目标对象配置”页面中配置的源端RocketMQ实例的用户名和密码是否正确。

事件网格 EG 专享版事件流预检查

事件网格 EG-RocketMQ预检查:源端和目标端实例规格检查

源端和目标端实例规格检查检查源端和目标端RocketMQ实例的规格是否匹配。原因：源端和目标端RocketMQ实例的节点数量不一致，请检查源端实例和目标端实例的规格信息。解决方案：检查配置专享版事件流作业的第二步，即“源和目标对象配置”页面中配置的源端和目标端RocketMQ实例的节点数量是否一致，若不一致，请修改源端或者目标端实例，使二者保持一致。检查源端和目标端RocketMQ实例的规格是否匹配。原因：源端和目标端RocketMQ实例的实例类型不一致，请检查源端实例和目标端实例的规格信息。解决方案：检查配置专享版事件流作业的第二步，即“源和目标对象配置”页面中配置的源端和目标端RocketMQ实例的类型是否一致，要求都是集群或者都是单机，若不一致，请修改源端或者目标端实例，使二者保持一致。

事件网格 EG 专享版事件流预检查

事件网格 EG-RocketMQ预检查:源端和目标端实例版本检查

源端和目标端实例版本检查检查源端和目标端RocketMQ实例的版本是否符合要求，当前要求RocketMQ实例版本在5.x和4.8.0中，版本不在匹配名单中则提示告警。原因一：源端RocketMQ实例版本不支持，请选择符合要求的实例。解决方式：返回配置专享版事件流作业的第二步，即“源和目标对象配置”页面，重新选择符合实例版本要求的实例作为源端实例。原因二：目标端RocketMQ实例版本不支持，请选择符合要求的实例。解决方式：返回配置专享版事件流作业的第二步，即“源和目标对象配置”页面，重新选择符合实例版本要求的实例作为目标端实例。检查源端和目标端RocketMQ实例的版本是否一致，版本不一致则提示告警。原因：源端实例和目标端实例的版本不一致，请检查源端实例和目标端实例的版本。解决方式：检查配置专享版事件流作业的第二步，即“源和目标对象配置”页面中配置的源端和目标端RocketMQ实例的版本是否一致，若不一致，请修改源端或者目标端实例，使二者保持一致。

事件网格 EG 专享版事件流预检查

事件网格 EG-RocketMQ预检查:目标端连通性检查

目标端连通性检查检查事件流作业所在运行时机器是否能正常连接到目标端RocketMQ实例。原因一：无法连接目标端RocketMQ实例，请检查网络配置是否正确。解决方案：进入RocketMQ的控制台页面，检查目标端实例状态是否正常。检查事件流集群创建页面中配置的vpc和子网是否与目标端RocketMQ实例网络畅通。原因二：无法连接目标端RocketMQ实例，请检查填写的实例信息是否正确。解决方案：进入RocketMQ的控制台页面，检查目标端实例状态是否正常。检查事件流集群创建页面中配置的vpc和子网是否与目标端RocketMQ实例网络畅通。检查配置专享版事件流作业的第二步，即“源和目标对象配置”页面中配置的目标端RocketMQ实例的用户名和密码是否正确。

事件网格 EG 专享版事件流预检查

事件网格 EG-专享版事件流概述:功能简介

功能简介引导式同步使用EG专享版事件流秒变同步专家。场景化选择预设使用场景，让数据同步更少配置、更简单。网络与安全支持SSL等加密和认证机制，让数据同步更安全。多种同步模式支持对象选择、全量+增量同步和多种压缩模式，满足不同同步诉求。预检查预检查支持提前识别同步是否满足成功条件，提供失败原因、失败详情和处理建议信息。用户可以根据失败信息和处理建议的指导，调整环境，以确保同步成功。同步监控全面可观测/可维护性，支持流控，同步情况，尽在掌握之中。

事件网格 EG 专享版事件流

事件网格 EG-创建事件流:操作步骤

操作步骤登录事件网格控制台。在左侧导航栏选择“事件流”，进入“事件流”页面。单击“创建事件流”。在弹窗中输入事件流名称和描述，单击“确定”，完成事件流名称和描述信息输入。配置事件源。单击“事件源”，右侧弹出“事件源”弹窗。选择事件源提供方。设置事件源参数。完成后单击“下一步”。配置规则。单击“规则”，右侧弹出“规则”弹窗。配置规则模式内容。完成后单击“下一步”。配置事件目标。单击“事件目标”，右侧弹出“事件目标”弹窗。选择目标服务。设置事件目标参数。完成后单击“确定”。单击“保存”，完成事件流的创建。事件流创建成功后，状态默认为“停用”。

事件网格 EG 管理事件流

事件网格 EG-实施及验证:目标端配置操作步骤

目标端配置操作步骤登录事件网格控制台。在左侧导航栏选择“事件流”，进入“事件流”页面。单击“创建事件流”。配置事件目标。单击“事件目标”，右侧弹出“事件目标”弹窗。目标服务选择“分布式消息服务 Kafka版”。设置事件目标参数。图2 分布式消息服务 Kafka版表2 分布式消息服务 Kafka版参数说明参数名称说明目标连接选择目标连接。如果还未创建目标连接，请先创建分布式消息服务Kafka版目标连接。 Topic 选择Topic。先选目标连接以加载Topic选项。消息Key配置关闭不启用消息Key。开启变量：从CloudEvents标准事件中获取变量值，将变量值作为Key值。常量：将指定的常量作为key值。若选择常量，所有消息将发送至同一分区。规则配置类型变量：data.value 如果需要了解更多转换类型的信息，请参考事件内容转换。消息推送批量推送配置是否开启批量推送，批量推送可帮您批量聚合多个事件。批量推送条数推送间隔开启批量推送可见，每次批量推送的最大聚合条数，默认值100，输入值范围1~10000。开启批量推送可见，输入批量推送间隔，默认值1，输入值范围0~15，单位：秒。事件目标kafka不支持自定义证书。表3 批量推送示例批量推送条数推送间隔实际发送效果 100条 1s 每隔1s批量推送100条消息 200条 5s 每隔5s批量推送500条消息配置完成后，单击“确定”。单击“事件流列表”操作列的“启用”，待状态列显示为“运行中”则代表整个链路创建成功。

事件网格 EG 基于事件流实现Kafka实例之间的数据同步

事件网格 EG-实施及验证:源端配置操作步骤

源端配置操作步骤登录事件网格控制台。在左侧导航栏选择“事件流”，进入“事件流”页面。单击“创建事件流”。在弹窗中输入事件流名称和描述，单击“确定”，完成事件流名称和描述信息输入。配置Kafka事件源。单击“事件源”，右侧弹出“事件源”弹窗。事件提供方选择“分布式消息服务 Kafka版”。设置事件源参数。图1 事件源-Kafka 表1 配置参数说明参数名称说明实例选择Kafka实例。 Topic 选择Topic。消费组输入消费组。并发数输入并发数，输入值范围1~1000。建议并发数与选择的Topic的分区数保持一致，如果不一致可能会影响消息消费速率。当您选择Topic时，如果并发数为空会读取您选择的Topic的分区数作为并发数。消费点位选择消费点位。最新点位：将会从消息队列的最新消息开始消费。最早点位：将会从消息队列的最早消息开始消费。 SASL认证机制当Kafka实例开启SASL SSL时可见，选择SASL认证机制。 PLAIN：一种简单的用户名密码校验机制。 SCRAM-SHA-512：采用哈希算法对用户名与密码生成凭证，进行身份校验的安全认证机制，比PLAIN机制安全性更高。 SASL证书地址当Kafka实例开启SASL SSL时可见，输入SASL证书地址。获取地址请参考如何获取分布式消息服务Kafka实例的SASL证书地址。说明：必须使用zip压缩包，压缩包内的文件数量不超过两个，压缩包和文件大小均不可超过1M；压缩包里证书的名称必须是固定的：client.jks。 SASL证书密钥当Kafka实例开启SASL SSL时可见，输入SASL证书密钥。用户名当Kafka实例开启SASL SSL时可见，输入实例用户名。用户密码当Kafka实例开启SASL SSL时可见，输入实例用户密码。单击“保存”，完成配置事件源。

事件网格 EG 基于事件流实现Kafka实例之间的数据同步

华为云WELINK-数据集:创建并选择数据集

创建并选择数据集创建数据集提供两个入口。在事件流中创建数据集，在看板构建页面中选择数据集。登录圆桌，在页面右上角单击“轻应用构建”，进入“轻应用构建”平台。在“我的模板集”首页，单击已创建的模板集名称，或者单击“操作”列的“编辑”，进入模板集详情页面。如没有已创建的模板集名称，请先创建模板集，具体操作请参见新建模板集。单击“模板列表”，选择“事件流”页签，单击已创建的事件流名称，进入事件流构建页面。如需构建事件流，单击“新建事件流”，具体操作请参见构建事件流。在“配置信息”页签内，选择“数据集”。创建数据集。在“数据集”页面，单击“创建数据集”。输入数据集名称，勾选需展示数据的事件模板。自定义数据集：需选择同一事件流中的2-3个事件模板，必须选择起始模板，仅可选择1个起始模板。单击“确定”，数据集创建完成。您可以单击数据集名称再次编辑，单击“操作”列“删除”可以删除数据集。创建高码定制数据集。在“数据集”页面，单击“创建高码定制数据集”。输入数据集名称，勾选需展示数据的事件模板。高码定制数据集：支持选择多个事件模板。单击“确定”，数据集创建完成。您可以单击数据集名称再次编辑，单击“操作”列“删除”可以删除数据集。单击“操作”列“定制”，进入cube“定制数据集”页面。选择事件模板或定制数据集对象，进入自定义对象页面，新增自定义字段。选择脚本，单击禁用脚本，输入代码，单击保存，单击启用脚本。定制逻辑：默认按事件模板及其内部包含的字段生成参数。支持修改。进入“配置”页面，单击“定时任务”页签，点击任务名称，进入定时任务设置页面，设置定时任务执行频率，保存。单击“启用”，开启定时任务。定时任务：用于每日更新数据集数据。默认生成，且默认不启用，支持修改。在看板构建中选择数据集。返回模板集首页，选择“看板”页签。选择看板模板。单击看板模板名称，或单击“操作”列“编辑”，进入看板构建页面。如需新建看板，直接单击“新建看板”。具体操作可参见构建看板。选择“页面构建”页签，在左侧组件库拖拽图表组件至中间画布中。在右侧属性“数据范围”处单击“选择数据源”。在“自定义数据集”页签勾选已有数据集，单击“确定”。如图1。表单：只支持选择同一个事件流的单个事件模板。自定义数据集：支持选择同一个事件流中2-5个模板合并为数据集。高码定制数据集：支持选择多个事件模板，通过高码方式定制数据集。图1 选择自定义数据集图2 选择高码定制数据集在“字段设置”处添加组件中需展示的字段。直接在看板构建页面创建并选择数据集。模板集首页，单击“模板列表”，选择“看板”页签。选择看板模板。单击看板模板名称，或单击“操作”列“编辑”，进入看板构建页面。如需新建看板，直接单击“新建看板”。具体操作可参见构建看板。选择“页面构建”页签，在左侧组件库“图表组件”处拖拽组件至中间画布中。在右侧属性“数据范围”处单击“选择数据源”。在“选择数据集”弹窗勾选事件模板。图3。表单：只支持选择同一个事件流的单个事件模板。在“表单”页签，勾选模板，单击“确定”。图3 选择数据集自定义数据集：支持选择同一个事件流中2-3个模板合并为数据集。单击下方“自定义数据集”。勾选事件流中的事件模板，单击“下一步”。输入数据集名称，单击“确定”。自定义数据集中，必须勾选事件流的起始模板。图4 自定义数据集高码定制数据集：最少选择2个事件模板，支持跨事件流选择多个事件模板，通过高码方式定制数据集。单击页面底部“高码定制数据集”。勾选事件流中的事件模板，单击“下一步”。输入数据集名称，单击“确认”。图5 高码定制数据集单击已创建高码定制数据集后“前往定制页面”，进入cube“定制数据集”页面。选择事件模板或定制数据集对象，进入自定义对象页面，支持增加自定义字段。图6 自定义对象选择脚本，单击禁用脚本，输入代码，单击保存，单击启用脚本。定制逻辑：默认按事件模板及其内部包含的字段生成参数。支持新增、修改字段。图7 高码定制数据集定制页面进入“配置”页面，单击“定时任务”页签，点击任务名称，进入定时任务配置页面，设置定时任务执行频率，保存。单击“启用”，开启定时任务。定时任务：用于每日更新数据集数据。默认生成，且默认不启用，支持修改。图8 高码定制数据集定时任务入口在“字段设置”处添加组件中需展示的字段。

华为云WELINK 事件流

华为云WELINK-构建事件流:相关操作

相关操作在“事件流”页签内，单击列表“操作”列的对应操作，还可编辑、删除事件流。表6 相关操作操作说明编辑事件流单击“操作”列“编辑”，或直接单击事件流名称，编辑已创建的事件流信息。删除事件流仅支持删除状态为“编辑中”的事件流。单击“操作”列“删除”进行删除事件流操作，事件流删除后，事件流内的事件模板会同步删除。调测事件流所有状态都支持调测。单击“操作”列“调测”跳转至开发环境调测团队页面，测试已创建的事件流。查看事件流单击“操作”列“查看”，查看事件流信息。查看功能是对内容可见不可编辑。

华为云WELINK 事件流

华为云WELINK-构建事件流:调测事件流

调测事件流新建事件流支持进入调测页面进行调测功能，提供虚拟用户，支持切换不同用户视角查看、处理事件。单击已建事件流“操作”列“调测”按钮，进入开发环境的调测团队页面。表3 调测团队介绍操作说明团队仅保留“调测用团队”，不可添加新团队。应用管理团队应用管理页面显示“已选应用”页签，展示已添加的应用。看板管理团队看板管理页面显示“已添加看板”及“看板库”页签。表4 事件流调测团队界面操作操作说明切换虚拟用户调测团队页面右上角显示虚拟用户，支持切换其他用户。虚拟用户按照事件流设置的预置角色显示，默认选择角色数据表第一个角色。仅单击事件流后“调测”进入调测团队显示虚拟用户按钮，单击看板后“调测”进入调测团队不显示该按钮。清除调测数据可清理调测团队下的数据。仅清除实例数据：清空事件列表中的事件，保留测试团队下的事件流及看板。清除实例数据并清空调测团队：清空事件列表中的事件，同时清空测试团队下所有的事件流和看板。退出调测环境关闭调测页面，返回轻应用构建页面。图3 调测页面进入“调测用团队”，单击左上角调测用团队头像，单击“应用管理”页签。如果在“已选应用”页签的应用中显示事件流模板，表示事件流模板已添加成功。未添加的事件流自动添加至调测用团队，已添加过事件流不会重复添加。选择需调测的事件流模板，单击“操作”列。进入“预置数据”页面，在左侧栏选择数据表，单击“新增”，预置初始数据。角色数据表是系统默认数据表，无需模板构建者构建，表内的角色和业务流模板内创建的角色一致。调测模式不支持设置角色预置数据。其他数据表是模板构建者自定义创建。调测模式支持设置其他数据表数据。创建事件流。在调测团队“事件列表”，在页面左上角单击“新建”右侧的，选择构建的事件流模板。事件流模板默认显示设为起始模板的事件模板。仅可创建调测事件流的起始模板。填写起始事件信息，设置发布设置，单击“发布”。发布成功后，表示构建的事件流模板已可以正常使用。发布设置仅可设置事件接收人。表5 事件相关操作操作说明事件接收人支持选择当前调测事件流中的预置角色及调测人租户内成员。成员组件支持选择当前调测事件流中的预置角色及调测人租户内成员。部门组件支持选择调测人租户中的组织架构。事件评论点赞不支持评论、点赞。根据业务场景测试流程。单击右上角虚拟用户按钮，选择其他用户，查看、处理事件。单击页面右上角“退出调测环境”，关闭调测页面，返回轻应用构建页面。退出调测环境时调试数据保留。

华为云WELINK 事件流

华为云WELINK-构建事件流:操作权限

操作权限事件流状态包含“编辑中”和“运行中”，不同的事件流状态对应不同的操作权限。编辑中：事件流没有被应用绑定的状态。该状态有如下操作权限：支持编辑、删除、调测事件流。 “编辑中”状态模板支持在业务规则、页面赋值、表单触发、按钮触发、定时触发、关联模板组件和关联子表组件中引用“编辑中”状态和“运行中”状态模板。运行中：上架应用时，事件流被应用绑定后，事件流状态自动转变为“运行中”。该状态有如下操作权限：支持编辑、调测事件流，但不支持删除事件流。 “运行中”状态模板支持在业务规则、页面赋值、表单触发、按钮触发、定时触发、关联模板组件和关联子表组件中引用“编辑中”状态和“运行中”状态模板。不支持更改、删除事件流中的起始模板。

华为云WELINK 事件流

云服务器内容精选

事件流

7*24

备案

专业服务

退订

建议反馈

售前咨询热线