检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/贴源数据层。 连接地址 仅当“是否使用JDBC字符串”选择“否”时需要配置。 填写DWS集群中数据库的连接IP地址和端口号。 端口 仅当“是否使用JDBC字符串”选择“否”时需要配置。 填写DWS集群中数据库的端口号。 数据库 仅当“是否使用JDBC字符串”选择“否”时需要配置。
选择前端API的安全认证方式,推荐使用APP认证方式。 APP认证:表示由ROMA Connect对API请求进行安全认证。用户调用API时,使用集成应用的Key和Secret进行API请求的安全认证。 华为IAM认证:表示由IAM对API请求进行安全认证。用户调用API时,使用Token或AK/SK进行API请求的安全认证。
MQ是IBM提供的一个消息队列软件,它可以在分布式系统中进行异步通信,确保数据的可靠传输。MQ是一种基于消息的中间件,它提供了一种可靠、安全的方式来传输消息,可以在不同的应用程序、平台和系统之间进行通信。MQ可以确保消息在传输过程中不会丢失、重复或失序,并且可以在不同的系统之间进行数据转换和格式化。 创建IBM
动作 选择访问控制的动作,与“限制类型”配合使用。 允许:表示仅允许指定的IP地址或账号调用API。 禁止:表示禁止指定的IP地址或账号调用API。 IP地址 仅当“类型”选择“IP地址”时需要配置。 单击“增加IP地址”,添加允许或禁止调用API的IP地址或IP地址段。 账号名 仅当“类型”选择“账号名”时需要配置。
面中展示,填写完成后单击“确定”。 根据规划的架构拖拽“节点”或“分组”到右侧绘制框中。 右键拖拽的“节点”或“分组”,可进行属性设置。 表2 节点属性设置 参数 参数说明 名称 自定义此节点的名称。 背景颜色 自定义修改此节点的背景颜色。 高度 自定义此节点边框高度,也可在绘制框中直接拖拽。
MQ是IBM提供的一个消息队列软件,它可以在分布式系统中进行异步通信,确保数据的可靠传输。MQ是一种基于消息的中间件,它提供了一种可靠、安全的方式来传输消息,可以在不同的应用程序、平台和系统之间进行通信。MQ可以确保消息在传输过程中不会丢失、重复或失序,并且可以在不同的系统之间进行数据转换和格式化。 创建IBM
7,您可以在ROMA Connect实例控制台的“实例信息”页面,在“MQS基本信息”下查看Kafka版本信息。C#开源客户端的版本使用请参见客户端版本使用建议。 执行以下命令下载安装C#的Kafka依赖库。 dotnet add package -v 1.5.2 Confluent
其他语言客户端使用说明 MQS完全兼容Kafka开源客户端。 如果您使用其他语言,也可以从Kafka官网获取客户端,按照Kafka官网提供的连接说明,与MQS对接。 获取客户端的地址请参考Kafka官网。 父主题: MQS连接开发(开源客户端)
购买RCU时套餐包,当月未使用完的RCU时下个月是否可以继续使用? 不可以,上个生效月RCU时余量不可以转结到下个生效月。 父主题: 计费FAQ
间的灵活、快速、无侵入式的数据集成,可以实现跨机房、跨数据中心、跨云的数据集成方案,并能自助实施、运维、监控集成数据。 例如集团企业场景中,企业与合作伙伴使用的数据源不一样,难以形成企业之间有效的信息传输。FDI提供了多种数据源之间转换的方式,支持MySQL、Kafka、API等主流格式之间的转换。
模型目录”,单击“数据资产信息架构”页签。 在左侧目录中选择对应的命名空间,单击“添加基础对象”并按照要求输入基础对象名称和类型,对基础数据添加“基础数据属性”,单击“添加基础对象属性” 并按照要求输入相关内容,单击“确定”。可对其进行编辑和删除操作,操作逻辑与资产目录管理相同。 父主题: 录入业务模型
模型管理 管理模型采集任务 同步数据库和缓存数据 父主题: 应用业务模型使用指导
同步数据库和缓存数据 概述 当模型采集中采集任务执行失败时,采集日志显示数据库和缓存不一致时,可以从数据源和任务的维度,执行同步任务,使数据库和缓存保持一致,解决采集任务异常。 前提条件 已完成采集技术模型和录入业务模型。 操作步骤 登录ROMA Connect,在“实例”页面单
部署Filebeat和ELK 部署Filebeat 登录SHUBAO组件所在节点,切换root用户。 执行以下命令对filebeat.yml文件进行授权。 cd /filebeat sudo chown root filebeat.yml 执行以下命令启动Filebeat。 docker-compose
的索引并存储数据,为Kibana的可视化显示提供聚合搜索和数据分析的支撑。 用户使用ELK的Kibana创建日志视图,基于Logstash拆分的日志属性进行API调用日志的查询和统计。 父主题: 使用Filebeat+ELK实现Site协同版实例的API日志监控
ROMA Connect数据集成适用于异构数据源之间的数据类型转换和按需集成。对于业界主流数据库之间的数据迁移、同步场景,建议使用数据复制服务DRS;对于关系型数据库、大数据、文本等数据迁移到数据湖的场景,建议使用云数据迁移CDM。 表1 接入数据源 数据源接入配置 普通任务支持的集成模式(源端)
设置数据源类型,可以为"mysql","mssql","oracle","postgresql","hive","redis","mongodb" 输入参数 type:类型 public void setUrl(String url) 设置数据源连接字符串。 如果数据源类型为"mysql","mssql"
object:待转换的对象 返回信息 返回xml格式的字符串 public static String toXml(Object object, Map<String,Object> config) object转换成xml 输入参数 object:待转换的对象 config:转换配置 返回信息
执行以下命令在镜像内安装依赖。 pip install requests 执行以下命令检查安装的依赖是否存在。 #启动Python交互式输入,若使用的Python 3,则执行的命令为python3 python import requests import json import http
Connect实例的“MQS SASL_SSL”已开启时需要配置。 填写“Topic名称”中Topic所属集成应用的Secret。 分布式消息服务Kafka 连接地址 选择分布式消息服务 Kafka的连接地址。 Topic名称 选择数据要转发到的Topic名称。 用户名 仅当ROMA Connect实例的“MQS