检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
原因分析 在DWS磁盘空间达到阈值,例如80%,或者某些大数据量的表存在数据倾斜时,DWS集群会变为只读状态。从FDI侧来看,在某个时间点,所有访问DWS的任务均异常停止。 解决方案 处理DWS只读状态问题,恢复数据库服务后,如果FDI的任务停止时间没有超过6小时,可以直接启动任务。如
自定义数据源开发示例(实时任务) 操作场景 对于实时数据源,当前自定义连接器不支持直接接入,只能通过消息中转的方式进行接入。本章节以MQS数据源类型为例进行开发,示例使用Java语言进行开发,Demo代码参考RealtimeConnector.rar。 前提条件 准备装有1.8及以上版本JDK的Linux服务器。
务创建后,您可以查看和管理采集任务,包括任务的启动、执行、编辑配置信息等。 前提条件 已接入数据源。 操作步骤 登录ROMA Connect,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“应用业务模型ABM > 模型采集 > 采集任务”,单击“创建采集任务”,进入创建采集任务页面。
Connect支持的数据源 数据集成任务支持的数据源 表1中为数据集成所支持的全量数据源类型,具体每种数据源所支持的任务模式和集成模式请参见接入数据源。 连接数据源的用户需要有创建连接数据库会话的权限。 表1 数据集成支持的数据源 数据源类型 支持的版本 API 无版本号 ActiveMQ 5.15.9
查看采集任务日志 登录ROMA Connect,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“应用业务模型ABM > 模型采集 > 采集任务”。 在任务列表中找到需要启动的任务,单击“操作”栏中的“日志”可查看此任务的日志信息。日志信息主要包含运行实例编号、
创建模型主题 概述 在这里用户可以使用简单易用的绘制工具,自定义数据资产模型的架构流程图,可在数据地图中进行展示。 前提条件 已完成采集技术模型和录入业务模型。 创建模型主题 登录ROMA Connect,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“应用业务模型ABM
配额说明 配额限制 配额是指用户在ROMA Connect实例中可创建的资源数量限制,具体的资源配额限制如下表所示。 在高并发情况下会出现略超最大配额数限制的情况,不影响资源的正常使用。 表1 实例资源配额限制 组件 资源 最大配额(个) 是否支持修改配额 集成应用 集成应用 100
导出数据集成任务 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据集成 FDI > 任务管理”。 在任务管理页面中勾选需要导出的任务,单击“导出任务”按钮,系统将自动导出所选任务到本地。 导入数据集成任务 登录ROMA
创建MySQL连接器 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。 选择“MySql”连接器。 在弹窗中配置连接器信息,完成后单击“测试连接”。 参数 说明 连接名称 填写连接器实例名称MySql_test。 区域 选择区域。
自定义后端支持添加变量、密码、证书等全局公共配置,并在函数后端的JavaScript脚本中快速引用已添加的配置项。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“服务集成 APIC > 自定义后端”,在“配置管理”页面单击“添加配置”。
自定义后端支持添加变量、密码、证书等全局公共配置,并在函数后端的JavaScript脚本中快速引用已添加的配置项。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“服务集成 APIC > 自定义后端”,在“配置管理”页面单击“添加配置”。
50MB。如果导出的API定义文件超过50MB,则多出来的自定义后端将不导出。 导入自定义后端 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“服务集成 APIC > 自定义后端”,在“后端列表”页签上方单击“导入后端”。
在新建工单页面填写关键信息,勾选“我已经阅读并同意《用户授权书》”,然后单击“提交”。 表1 申请扩大实例配额 参数 配置说明 区域 选择需要扩大实例配额的ROMA Connect服务所在区域。 问题描述 对申请扩大实例配额的需求进行描述,例如“申请扩大ROMA Connect服务实例配额”。 机密信息 保持默认选择,即“暂不输入”。
源端MySQL数据源: 如果MySQL数据库使用的是MGR集群模式,在接入源端数据源时,必须直接连接主节点,不能连接route节点。 如果MySQL数据库中数据量特别巨大,在首次执行数据同步时可能会连接数据库超时,可以通过修改MySQL数据库的超时参数interactive_
使数据库和缓存保持一致,解决采集任务异常。 前提条件 已完成采集技术模型和录入业务模型。 操作步骤 登录ROMA Connect,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“应用业务模型ABM > 运维工具”。 在“运维工具”列表中,找到采集异
connect_address string 实例连接IP地址,VPC内地址。 instance_id string 实例ID。 project_id string 项目ID。 public_ip string 实例绑定的弹性IP地址。 status string 实例的状态。 响应示例 {
子公司B ROMA Connect实例的API级联到公司总部的ROMA Connect实例上,把公司总部的ROMA Connect实例作为业务开放中台,所有数字资产都通过业务开放中台对外共享。 使用Filebeat+ELK实现Site协同版实例的API日志监控 通过在ROMA S
String 应用ID。 users Array of users objects 用户成员列表。 表5 users 参数 参数类型 描述 id String 用户ID。 name String 用户名称。 roles Array of strings 应用权限角色。 read:应
Java客户端使用说明 操作场景 本文介绍Java版本的Kafka客户端连接指导,并完成客户端连接以及消息生产与消费的相关示例。 前提条件 已获取MQS连接信息,具体请参见开发准备。 已安装开发工具和Java开发语言环境,具体请参见开发准备。 引入Kafka客户端 MQS基于Kafka社区版本1
控制策略管理 配置流量控制策略 配置访问控制策略 配置客户端配额策略 配置客户端访问控制策略 父主题: 服务集成指导(旧版界面)