检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"b2" }] 其中,sourceKey的值为源端数据字段名,targetKey的值为目标数据字段名。以上示例表示源端字段a1映射到目标端字段b1,源端字段a2映射到目标端字段b2。 完成Mapping信息配置后,若需要配置异常数据存储、任务完成后执行,请前往配置异常数据存储(可选)、配
data_disk_size String 磁盘大小。 data_disk_use String 已使用磁盘大小。 data_disk_free String 空闲磁盘大小。 data_disk_use_percentage Integer 磁盘使用率。 status String 查询状态。
接入本地文件数据源 概述 ABM支持把本地文件作为一个数据源,并用于模型采集。在使用本地文件类型数据源前,您需要先创建数据源。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“应用业务模型ABM > 模型采集
以下面的组合应用为例,该组合应用的主要功能是调用Open API获取OBS指定桶的对象列表,并将结果中的桶名称和对象名称通过数据映射,映射到MySql指定表中的相关字段,然后使用MySql添加记录的操作将桶名和对象名存储到MySql中。其中,对象存储服务 OBS产生的结果是数据
client做反向解析,阻塞连接建立。 磁盘容量申请超过业务量 * 副本数的2倍,即保留磁盘空闲50%左右。 业务进程JVM内存使用确保无频繁FGC,否则会阻塞消息的生产和消费。 建议在Kafka客户端侧配置日志转储,否则容易引起磁盘被日志打满的情况。 一个消费组下的消费者在连
Server,然后填写密码。 在“服务器角色”栏勾选“dbcreator”和“public”角色。 在“用户映射”栏选择映射到此登录名的用户及数据库角色成员身份。 在“映射到此登录名的用户”中选择配置CDC的数据库,例如:fdiromatest。 在“数据库角色成员身份”中选择“db_d
数据的集成同步效率。 组合任务支持数据表之间字段(列)级别的灵活映射,例如源端一个数据表中的多个字段可分别映射到目标端的不同数据表中,或者源端多个数据表中的字段可以映射到目标端的一个数据表中。 前提条件 已完成源端数据源和目标端数据源的接入,具体操作请参考接入数据源。 在源端数据
响应。 开启同步复制后,需要同时在客户端配置acks=-1,否则同步复制无效。 同步落盘 消息客户端向Topic生产的每条消息是否立即写入磁盘。同步落盘开启时,可靠性更高。 标签 为Topic所属的集成应用添加消息发布和订阅标签,一般业务场景下无需添加,仅用于特殊业务场景。 添加
DWS变成只读状态导致FDI任务运行失败 原因分析 在DWS磁盘空间达到阈值,例如80%,或者某些大数据量的表存在数据倾斜时,DWS集群会变为只读状态。从FDI侧来看,在某个时间点,所有访问DWS的任务均异常停止。 解决方案 处理DWS只读状态问题,恢复数据库服务后,如果FDI的
导入导出资产 概述 ROMA Connect支持把实例的应用和任务资产以文件形式导出到本地,也可以把本地的资产文件导入ROMA Connect,实现资产的批量迁移。 前提条件 资产导入功能仅支持集成资产数据导入,不支持资产相关的实例配置数据导入。在完成集成资产的导入后,还需要完成
配置索引生命周期策略(可选) ElasticSearch存储的数据,默认未设置过期时间,用户可根据磁盘空间情况,为ElasticSearch数据设置索引生命周期策略。 创建生命周期策略 登录Kibana可视化界面。 访问地址:IP:Port 其中,IP为ELK所部署服务器的IP;
纳管脚本不包含Docker安装和维护,执行纳管脚本前需要在每台机器上自行安装Docker 。 纳管脚本不包含格式化磁盘,执行纳管脚本前如需要格式化磁盘请参考“准备资源 > 格式化磁盘” 。 Docker版本要求:Docker版本必须高于17.06,推荐使用18.06.3版本。请勿使用18.09.0版本Docker,如果已使用此版本,请尽快升级。
需求如表1所示。 表1 服务器资源需求 组件 日志文件数 CPU 内存 磁盘 Filebeat 5个 1核 256MB 当Filebeat已读取日志,但尚未发送至其它组件前,会把日志数据缓存到磁盘中,因此磁盘占用为已读取日志文件总大小,最大值为200MB*日志文件数。 10个 2核
status 磁盘挂载。 以下操作需在每台虚拟机上都执行。 以root用户登录待挂载虚拟机。 查看磁盘情况。 fdisk -l 系统显示如下类似信息表示系统有两个磁盘,一个是空间大小300G盘符为/dev/vdb的磁盘,一个是空间大小200G盘符为/dev/vdc的磁盘,需将300
查询Topic列表 创建Topic 修改Topic 删除Topic 批量删除Topic 导入Topic 导出Topic 下载证书 查询topic的磁盘存储情况 父主题: 消息集成API
重启:service haveged restart 查看服务状态:service haveged status 变更前请确认新增节点机器磁盘是否挂载正常。 磁盘挂载到指定目录:/opt/roma/data和/opt/roma/logs 变更前请确认新增节点机器端口是否开放正常。 用户准备
API管理 创建API 修改API 删除API 发布或下线API 查询API详情 查询API列表 批量发布或下线API 调试API 切换API版本 查看版本详情 根据版本编号下线API 查询API历史版本列表 查询API运行时定义 校验API定义 父主题: 服务集成API
步骤二:向Topic收发消息 准备工作 在开始操作前,您需要提前完成以下准备工作。 ROMA Connect实例已绑定弹性IP,且本地PC所在网络与弹性IP的网络互通。 已在本地PC下载并安装Java JDK,并完成相关环境变量的配置。 根据ROMA Connect实例的Kafka版本,下载对
为20M,超过此大小必须分页分批读取。 API作为源端,只支持常量参数,不支持动态传递参数。 API作为目标端,不支持将源端获取到的数据映射到目标端的Headers中。 kafka数据源类型 当前SASL连接方式只支持对接ROMAConnect自带的MQS服务,用户自建的kakfa服务只支持明文方式对接。
公共管理 获取服务API版本列表 获取指定版本ID的API版本信息 父主题: 公共资源API