云服务器内容精选

  • 前提条件 业务有自己的源RocketMQ和目标RocketMQ。 源RocketMQ和目标RocketMQ实例支持的版本:4.x、5.x。 源RocketMQ和目标RocketMQ实例的规格、Broker数量、存储空间需保持一致。 确保vpc、子网、RocketMQ等资源充足。 确保源端和目标端实例与用户创建事件流集群时选择的VPC网络互通。 创建VPC和子网的操作指导请参考创建虚拟私有云和子网。
  • 操作步骤 登录事件网格控制台。 在左侧导航栏选择“事件流>专业版事件流作业”,进入“专业版事件流作业”页面。 右上角单击“创建作业”,进入“基础配置”。 配置“基本配置”信息,以下内容将以非白名单账号举例介绍。 表1 作业基本配置参数说明 参数 说明 集群 选择已创建的集群,如未创建,请参见专业版事件流集群。 作业名称 请输入作业名称。 场景类型 可选“同步”或“迁移”。 同步:实现数据源之间的数据实时同步,支持正向和反向的长期单向数据同步。 迁移:适用于业务割接期数据的整体搬迁上云,只支持短期单向同步。 描述 请输入对本作业的描述。 单击“下一步:源和目标对象配置”,进入“源和目标对象配置”页面。 图1 源数据和目标数据配置 表2 源数据和目标数据配置参数说明 参数 说明 配置类型 默认为“Rocketmq实例”。 说明: 配置类型根据实例类型变更。 实例别名 请输入实例别名。 用于标识源端和目标端实例,建议同一个源端或目标端实例只设置一个别名。 区域 请选择资源所在区域。 项目 请选择项目。 Rocketmq实例 请选择Rocketmq实例。 用户名 请输入用户名。 密钥 请输入密钥。 单击“下一步:高级配置”,进入“高级配置”页面。 图2 高级配置 表3 作业对象配置参数说明 参数 说明 Topic匹配类型 选择“正则匹配”或“精确匹配”。 说明: 当选择“正则匹配”时需在下方输入“Topic正则”。示例:.* 表示匹配所有Topic,topic.* 表示匹配所有以topic为前缀的Topic。 当选择“精确匹配”时需选择“Topics”。 同步消费进度 请选择是否打开。 说明: 开启时表示将消息消费进度同步到目标Rocketmq。 启动偏移量 请选择为“最早”、“最新”或“自定义”。 压缩算法 请选择压缩算法为“none”、“lz4”、“zstd”或“zlib”。 单击“下一步:预检查”,进入“预检查”页面,完成后单击“完成配置”。 图3 预检查 返回专业版事件流作业列表,单击刚才创建的事件流名称,进入“基本信息”页面,选择“作业管理”,可以查看“同步进展详情”。 图4 Rocketmq事件流同步进展详情 表4 参数说明 参数名称 说明 Topic名称 创建RocketMQ实例时的Topic。 队列数 创建Topic时设置的队列个数。 待同步数 当前Topic队列数中未同步的消息数量。
  • 操作步骤 登录事件网格控制台。 在左侧导航栏选择“事件流>专业版事件流作业”,进入“专业版事件流作业”页面。 右上角单击“创建作业”,进入“基础配置”。 配置“基本配置”信息,以下内容将以非白名单账号举例介绍。 表1 作业基本配置参数说明 参数 说明 集群 选择已创建的集群,如未创建,请参见专业版事件流集群。 作业名称 请输入作业名称。 场景类型 可选“同步”或“迁移”。 同步:实现数据源之间的数据实时同步,支持正向和反向的长期单向数据同步。 迁移:适用于业务割接期数据的整体搬迁上云,只支持短期单向同步。 描述 请输入对本作业的描述。 单击“下一步:源和目标对象配置”,进入“源和目标对象配置”页面。 “源数据”和“目标数据”中选择好Kafka实例后,单击“测试连通性”,检查通过后,进入步骤6。 图1 源数据和目标数据配置 表2 源数据和目标数据配置参数说明 参数 说明 配置类型 默认为“Kafka实例”。 说明: 配置类型根据实例类型变更。 实例别名 请输入实例别名。 用于标识源端和目标端实例,建议同一个源端或目标端实例只设置一个别名。 区域 请选择资源所在区域。 项目 请选择项目。 Kafka实例 请选择Kafka实例。 接入方式 支持“明文接入”或“密文接入”。 安全协议 当选择明文接入时,安全协议为“PLAINTEXT”。 当选择“密文接入”时,安全协议可选择“SASL_SSL”或“SASL_PLAINTEXT”;认证机制可选择“SC RAM -SHA-512”或“PLAIN”。 用户名 请输入用户名。 当接入方式选择“密文接入”时需配置。 密码 请输入密码。 当接入方式选择“密文接入”时需配置。 单击“下一步:高级配置”,进入“高级配置”页面。 图2 高级配置 表3 作业对象配置参数说明 参数 说明 Topic匹配类型 选择“正则匹配”或“精确匹配”。 说明: 当选择“正则匹配”时需在下方输入“Topic正则”。示例:.* 表示匹配所有Topic,topic.* 表示匹配所有以topic为前缀的Topic。 当选择“精确匹配”时需选择“Topics”。 副本数 请配置副本数。 自动创建的Topic副本数,不能超过目标端Kafka的Broker数量。 同步消费进度 请选择是否打开。 开启时表示将消息消费进度同步到目标Kafka。 启动偏移量 请选择为“最早”或“最新”。 压缩算法 请选择压缩算法为“none”、“gzip”、“snappy”、“lz4”或“zstd”。 单击“下一步:预检查”,进入“预检查”页面,完成后单击“完成配置”。 图3 预检查 返回专业版事件流作业列表,单击刚才创建的事件流名称,进入“基本信息”页面,选择“作业管理”,可以查看“同步进展详情”。 图4 Kafka事件流同步进展详情 表4 参数说明 参数名称 说明 Topic名称 创建Kafka实例时的Topic。 分区数 创建Topic时设置的分区数,分区数越大消费的并发度越大。 待同步数 当前Topic分区数中未同步的消息数量。 同步速率:当前作业同步消息时的速率,单击“限流”可跳转至源端Kafka实例的“流控列表”页面,用户可通过配置流控进而实现限流目的。
  • 使用限制 单账号跟踪的事件可以通过 云审计 控制台查询。多账号的事件只能在账号自己的事件列表页面去查看,或者到组织追踪器配置的OBS桶中查看,也可以到组织追踪器配置的 CTS /system日志流下面去查看。 用户通过云审计控制台只能查询最近7天的操作记录。如果需要查询超过7天的操作记录,您必须配置转储到 对象存储服务 (OBS)或 云日志 服务(LTS),才可在OBS桶或LTS日志组里面查看历史事件信息。否则,您将无法追溯7天以前的操作记录。 云上操作后,1分钟内可以通过云审计控制台查询管理类事件操作记录,5分钟后才可通过云审计控制台查询数据类事件操作记录。 CTS新版事件列表不显示数据类审计事件,您需要在旧版事件列表查看数据类审计事件。 云审计控制台对用户的操作事件日志保留7天,过期自动删除,不支持人工删除。
  • 专业版事件流预检查 当前仅支持华南-广州、华东-上海一。 预检查是创建事件流作业流程中的一环,用来检查用户填写的配置信息是否符合要求。预检查包含多个检查项,详情请参考表1,且每项检查独立执行,检查结果分成功、失败和告警三种类型。 表1 检查项目介绍 项目 内容 源端和目标端实例版本检查 检查源端实例和目标端实例的版本是否匹配。 源端连通性检查 检查作业所在运行时机器是否能正常连接到源端实例。 目标端连通性检查 检查作业所在运行时机器是否能正常连接到目标端实例。 源端和目标端实例规格检查 检查源端实例和目标端实例的规格是否匹配。 对于预检查结果是告警或者失败的事件流作业,都不会阻塞事件流作业的创建流程,检查结果仅做提示用。 Kafka预检查 RocketMQ预检查 D CS 预检查 父主题: 专业版事件流
  • 响应参数 状态码: 200 表4 响应Header参数 参数 参数类型 描述 X-Request-Id String This field is the request ID number for task tracking. Format is request_uuid-timestamp-hostname. 表5 响应Body参数 参数 参数类型 描述 failed_count Integer 操作失败的订阅个数 events Array of events objects 事件列表 表6 events 参数 参数类型 描述 error_code String 失败的错误码 error_msg String 失败的原因 subscription_id String 订阅ID 状态码: 400 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:1 最大长度:128 error_msg String 错误消息 最小长度:1 最大长度:512 error_details String 具体错误消息 最小长度:1 最大长度:1024 request_id String 请求处理ID 最小长度:1 最大长度:128 状态码: 401 表8 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:1 最大长度:128 error_msg String 错误消息 最小长度:1 最大长度:512 error_details String 具体错误消息 最小长度:1 最大长度:1024 request_id String 请求处理ID 最小长度:1 最大长度:128 状态码: 403 表9 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:1 最大长度:128 error_msg String 错误消息 最小长度:1 最大长度:512 error_details String 具体错误消息 最小长度:1 最大长度:1024 request_id String 请求处理ID 最小长度:1 最大长度:128 状态码: 404 表10 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:1 最大长度:128 error_msg String 错误消息 最小长度:1 最大长度:512 error_details String 具体错误消息 最小长度:1 最大长度:1024 request_id String 请求处理ID 最小长度:1 最大长度:128 状态码: 500 表11 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:1 最大长度:128 error_msg String 错误消息 最小长度:1 最大长度:512 error_details String 具体错误消息 最小长度:1 最大长度:1024 request_id String 请求处理ID 最小长度:1 最大长度:128
  • 响应示例 状态码: 400 { "error_code" : "EG.00014000", "error_msg" : "Bad request"} 状态码: 401 { "error_code" : "EG.00014010", "error_msg" : "Incorrect token or token resolution failed"} 状态码: 403 { "error_code" : "EG.00014030", "error_msg" : "No permissions to request this method"} 状态码: 404 { "error_code" : "EG.00014040", "error_msg" : "Not request resource found"} 状态码: 500 { "error_code" : "EG.00015000", "error_msg" : "Internal Server Error"}
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。通过调用 IAM 服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 最小长度:1 最大长度:16384 表3 请求Body参数 参数 是否必选 参数类型 描述 subscription_ids 否 Array of strings 订阅对象ID列表,单次批量操作最多支持10个订阅 数组长度:1 - 10 operation 否 String 操作类型 枚举值: DISABLE ENABLE
  • 响应示例 状态码: 400 { "error_code" : "EG.00014000", "error_msg" : "Bad request"} 状态码: 401 { "error_code" : "EG.00014010", "error_msg" : "Incorrect token or token resolution failed"} 状态码: 403 { "error_code" : "EG.00014030", "error_msg" : "No permissions to request this method"} 状态码: 404 { "error_code" : "EG.00014040", "error_msg" : "Not request resource found"} 状态码: 500 { "error_code" : "EG.00015000", "error_msg" : "Internal Server Error"}
  • URI GET /v1/{project_id}/target-catalogs 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户项目ID 表2 Query参数 参数 是否必选 参数类型 描述 offset 否 Integer 偏移量,表示从此偏移量开始查询,偏移量不能小于0 最小值:0 最大值:100 缺省值:0 limit 否 Integer 每页显示的条目数量,不能小于1或大于1000 最小值:1 最大值:1000 缺省值:15 sort 否 String 指定查询排序 缺省值:created_time:DESC fuzzy_label 否 String 指定查询的事件目标标签,模糊匹配 support_types 否 Array 事件目标支持方式:事件订阅:SUBSCRIPTION、事件流:FLOW 枚举值: SUBSCRIPTION FLOW
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 total Integer 总数 最小值:0 最大值:100 size Integer 本页数量 最小值:0 最大值:100 items Array of CatalogTargetInfo objects 对象列表 数组长度:0 - 100 表5 CatalogTargetInfo 参数 参数类型 描述 id String 事件目标分类ID name String 事件目标分类名称 最小长度:1 最大长度:128 label String 事件目标分类名称展示说明 最大长度:255 description String 事件目标分类描述 最大长度:512 provider_type String 提供方类型,OFFICIAL:官方云服务事件目标;CUSTOM:第三方事件目标 枚举值: OFFICIAL CUSTOM parameters Array of CatalogTargetParameters objects created_time String 创建UTC时间 updated_time String 更新UTC时间 表6 CatalogTargetParameters 参数 参数类型 描述 name String 目标参数名称 label String 目标参数名称展示说明 metadata objects 参数展示元数据,比如是否必选,输入框类型等 状态码: 400 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:1 最大长度:128 error_msg String 错误消息 最小长度:1 最大长度:512 error_details String 具体错误消息 最小长度:1 最大长度:1024 request_id String 请求处理ID 最小长度:1 最大长度:128 状态码: 401 表8 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:1 最大长度:128 error_msg String 错误消息 最小长度:1 最大长度:512 error_details String 具体错误消息 最小长度:1 最大长度:1024 request_id String 请求处理ID 最小长度:1 最大长度:128 状态码: 403 表9 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:1 最大长度:128 error_msg String 错误消息 最小长度:1 最大长度:512 error_details String 具体错误消息 最小长度:1 最大长度:1024 request_id String 请求处理ID 最小长度:1 最大长度:128 状态码: 404 表10 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:1 最大长度:128 error_msg String 错误消息 最小长度:1 最大长度:512 error_details String 具体错误消息 最小长度:1 最大长度:1024 request_id String 请求处理ID 最小长度:1 最大长度:128 状态码: 500 表11 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:1 最大长度:128 error_msg String 错误消息 最小长度:1 最大长度:512 error_details String 具体错误消息 最小长度:1 最大长度:1024 request_id String 请求处理ID 最小长度:1 最大长度:128
  • 响应示例 状态码: 400 { "error_code" : "EG.00014000", "error_msg" : "Bad request"} 状态码: 401 { "error_code" : "EG.00014010", "error_msg" : "Incorrect token or token resolution failed"} 状态码: 403 { "error_code" : "EG.00014030", "error_msg" : "No permissions to request this method"} 状态码: 404 { "error_code" : "EG.00014040", "error_msg" : "Not request resource found"} 状态码: 500 { "error_code" : "EG.00015000", "error_msg" : "Internal Server Error"}
  • URI GET /v1/{project_id}/metrics/pub 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户项目ID 表2 Query参数 参数 是否必选 参数类型 描述 filter 否 String 指标数据统计方式 缺省值:AVG 枚举值: AVG MIN MAX period 否 Integer 指标数据统计周期(单位minute) 缺省值:1 start_time 是 Long 获取指标数据起始时间 end_time 否 Long 获取指标数据结束时间 channel_id 是 String 事件通道id provider_type 否 String 事件目标类型/事件通道类型 枚举值: OFFICIAL CUSTOM source_name 否 String 事件源名称
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 total Integer 总数 最小值:0 最大值:100 result Array of EventPubMetricsItem objects 指标列表 数组长度:0 - 100 表5 EventPubMetricsItem 参数 参数类型 描述 event_size Long 事件大小 timestamp Long 时间戳 num Long 调用数 success_num Long 调用成功数 process_time Long 处理时间 invoke_time Long 调用时间 状态码: 400 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:1 最大长度:128 error_msg String 错误消息 最小长度:1 最大长度:512 error_details String 具体错误消息 最小长度:1 最大长度:1024 request_id String 请求处理ID 最小长度:1 最大长度:128 状态码: 401 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:1 最大长度:128 error_msg String 错误消息 最小长度:1 最大长度:512 error_details String 具体错误消息 最小长度:1 最大长度:1024 request_id String 请求处理ID 最小长度:1 最大长度:128 状态码: 403 表8 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:1 最大长度:128 error_msg String 错误消息 最小长度:1 最大长度:512 error_details String 具体错误消息 最小长度:1 最大长度:1024 request_id String 请求处理ID 最小长度:1 最大长度:128 状态码: 404 表9 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:1 最大长度:128 error_msg String 错误消息 最小长度:1 最大长度:512 error_details String 具体错误消息 最小长度:1 最大长度:1024 request_id String 请求处理ID 最小长度:1 最大长度:128 状态码: 500 表10 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:1 最大长度:128 error_msg String 错误消息 最小长度:1 最大长度:512 error_details String 具体错误消息 最小长度:1 最大长度:1024 request_id String 请求处理ID 最小长度:1 最大长度:128
  • 响应示例 状态码: 400 { "error_code" : "EG.00014000", "error_msg" : "Bad request"} 状态码: 401 { "error_code" : "EG.00014010", "error_msg" : "Incorrect token or token resolution failed"} 状态码: 403 { "error_code" : "EG.00014030", "error_msg" : "No permissions to request this method"} 状态码: 404 { "error_code" : "EG.00014040", "error_msg" : "Not request resource found"} 状态码: 500 { "error_code" : "EG.00015000", "error_msg" : "Internal Server Error"}