检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
最大长度:36 error_msg String 错误描述。 最小长度:2 最大长度:512 请求示例 修改指定数据集成组合任务,操作类型修改为插入和更新,并同步已有数据 { "description" : "test" } 响应示例 状态码: 400 Bad Request { "error_code"
保证数据不丢失。 使用流程 使用ROMA Connect进行数据集成的流程如下图所示。 图1 业务使用流程 已创建实例和集成应用。 接入数据源。 接入源端和目标端数据源,确保可以正常从源端读取数据以及向目标端写入数据。 创建集成任务。 数据集成任务规定了源端到目标端的数据集成规
选择要写入数据的数据文件内容类型,可选择“文本文件”和“二进制文件”。 文件类型 选择要写入数据的数据文件格式。当“文件内容类型”选择“文本文件”时,可选择“CSV”和“TXT”;当“文件内容类型”选择“二进制文件”时,可选择“XLS”和“XLSX”。 文件名称字符编码 选择数据文件的名称编码方式。
Consumer不能频繁加入和退出group,频繁加入和退出,会导致Consumer频繁做rebalance,阻塞消费。 Consumer数量不能超过Topic分区数,否则会有Consumer拉取不到消息。 Consumer需周期poll,维持和server的心跳,避免心跳超时
吗? OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? MRS Hive目标字段和源端字段数据类型不匹配时,数据是否能集成到目标端? MRS Hive、MRS HBase和MongoDB的Mapping映射手动输入时,是否区分大小写? MRS Hive是否支持分区?
责建立和维护应用程序和MySQL数据库之间的连接,并管理数据的传输。 MySQL是一个流行的开源关系型数据库,广泛用于Web应用程序的后端。它支持多种操作系统,包括Windows、Linux、Unix和macOS X。MySQL以其高性能、可靠性和灵活性而闻名,是许多企业和开发人员的首选数据库。
通过IP访问其他VPC内的ECS和私有服务器。 例如,VPC中包含6台ECS,ROMA Connect已创建一条负载通道,并把ECS 01和ECS 04已添加到负载通道中,此时ROMA Connect通过负载通道可以直接访问VPC中的ECS 01和ECS 04。 图1 访问负载通道中的ECS
查看服务状态:service haveged status 变更前请确认新增节点机器磁盘是否挂载正常。 磁盘挂载到指定目录:/opt/roma/data和/opt/roma/logs 变更前请确认新增节点机器端口是否开放正常。 用户准备好虚拟机资源后,需要检查虚拟机是否开放了各组件需要的端口,
/ELK/docker-compose.yml 其中,log目录用于挂载Logstash的数据目录,存储Logstash处理后的数据和元数据信息,即使容器Logstash被删除,日志数据也不会丢失,并且可以轻松的备份和恢复数据。 执行以下命令为log目录配置权限。 chmod 777 /ELK/logstash/log
表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分
责建立和维护应用程序和MySQL数据库之间的连接,并管理数据的传输。 MySQL是一个流行的开源关系型数据库,广泛用于Web应用程序的后端。它支持多种操作系统,包括Windows、Linux、Unix和macOS X。MySQL以其高性能、可靠性和灵活性而闻名,是许多企业和开发人员的首选数据库。
表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分
缓存、会话管理、实时消息传递、排行榜等场景。它支持多种数据结构,包括字符串、哈希表、列表、集合和有序集合等。Redis还提供了一些高级功能,如事务、发布/订阅、Lua脚本执行、持久化和集群等。 Redis默认端口为6379,但是管理员可以根据需要将其更改为其他端口。 创建Redis连接
也可以在修改ELK配置时自定义端口号。如果网络中部署了防火墙,需提前配置防火墙的端口访问权限。 用户名密码:在部署ELK时自定义的用户名和密码。 在页面左上角单击“”,然后选择“Management > Stack Management > Index Lifecycle Policies”。
数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 协议 选择接入FTP数据源使用的协议,可选择“FTP”和“SFTP”。 连接地址 填写FTP数据源的连接地址和端口号。 用户名 FTP数据源的登录用户名。
“是否解析(is_parse)”选择“是”时需要配置。 选择是否跳过数据文件中的文件头信息。文件头为添加在文件中的首行或者开头若干行信息,帮助识别和区分文件内容。 skip_header_rows 否 Integer 跳过文件头行数。 extend_meta_data 否 List<MetaData>
按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 数据源方向 选择HL7数据源在数据集成中的使用方向,可选择“源端”和“目标端”。 是否开启SSL认证 ROMA Co
start time field and end time field must be specified. 开始时间字段和结束时间字段不能为空。 检查开始时间字段和结束时间字段是否为空。 400 FDI.3066 The parameter for setting the time
RabbitMQ RabbitMQ是一个开源的消息队列系统,它实现了高效的消息传递机制,可以在分布式系统中进行消息的异步传递和处理。RabbitMQ基于AMQP(Advanced Message Queuing Protocol)协议,支持多种编程语言,包括Java、Python、Ruby、
ArtemisMQ ArtemisMQ 是一个开源的高性能消息队列(Message Queue)系统,它是基于 Apache ActiveMQ 和 Apache Artemis 的技术构建而成的。ArtemisMQ 提供了可靠的异步消息传递机制,允许不同的应用程序之间通过消息进行通信。