检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写Kafka的连接地址和端口号。 如果Kafka有多个副本(Broker),可单击“添加地址”填写多个连接地址。 是否SASL_SSL ROMA Connect与Kafka的连接是否使用SASL_SSL认证加密。
t会总是设置为-1。 acks=1:这意味着至少要等待leader已经成功将数据写入本地log,但是并没有等待所有follower是否成功写入。如果follower没有成功备份数据,而此时leader又无法提供服务,则消息会丢失。 acks=all:这意味着leader需要等待所
policiesOnly Boolean 是否只更新策略。 name String Topic名称。 replication Integer 副本数,配置数据的可靠性。 partition Integer Topic分区数,设置消费的并发数。 retention_time Integer
的不同字段。 存储子路径 在MRS HDFS的“hdfs:///hacluster”路径下,待集成数据的存储路径。 存储块大小(M) ROMA Connect向MRS HDFS数据源写入数据时,每次写入的数据大小。 存储类型 选择写入MRS HDFS数据源的数据存储类型,可选择“文本文件”。
mrshive: mrshive数据源类型(tag:Site_hybrid) type 否 String 脚本类型 SQL:SQL语句 SP:存储过程 object_name 是 String 返回对象。 最小长度:1 最大长度:32 content 是 String API脚本内容
mrshive: mrshive数据源类型(tag:Site_hybrid) type String 脚本类型 SQL:SQL语句 SP:存储过程 object_name String 返回对象。 最小长度:1 最大长度:32 content String API脚本内容 请对脚本进行base64编码
的不同字段。 存储子路径 在MRS HDFS的“hdfs:///hacluster”路径下,要集成数据的存储路径。 存储块大小(M) ROMA Connect从MRS HDFS数据源获取数据时,每次读取的数据大小。 存储类型 选择MRS HDFS数据源中数据的存储类型,需要与MRS
Connect内分配唯一的ID和密钥,使设备可以连接到ROMA Connect上的LINK中。 数据转发 ROMA Connect不会直接存储设备上报的数据,您需要配置数据转发规则,把设备数据转发到其他服务进行存储。可以把数据转发到ROMA MQS,也可以转发到Kafka、DIS等其他服务。 接入设备 设备在集成MQTT客户端后即可接入到ROMA
节点 1分钟 broker_produce_mean 消费请求平均处理时长 统计Broker节点处理消费请求平均时长。 ≥0 单位:毫秒 节点 1分钟 broker_alive 节点存活状态 统计MQS节点是否存活。 ≥0 节点 1分钟 broker_connections 连接数
集成应用 选择数据源所归属的集成应用。 描述 编辑数据源的描述信息。 连接地址 填写Kafka的连接地址和端口号。 如果Kafka有多个副本(Broker),可单击“添加地址”填写多个连接地址。 是否SSL ROMA Connect与Kafka的连接是否使用SSL认证加密。 SSL用户名/应用Key
-kafka-go/kafka" "log" "os" "os/signal" "syscall" ) var ( brokers = "ip1:port1,ip2:port2,ip3:port3" topics = "topic_name" user
有效信息传输。如何实现多种数据类型之间灵活、快速的数据集成和转换,成为企业数字化转型所面临的重要问题。 比如企业中不同业务系统数据的存储格式、存储位置各不相同,当一个业务系统需要获取另一个业务系统的某些数据时,就会出现获取的数据内容不符合要求,无法直接与自己数据结合使用等问题,不
Connect已接入源端和目标端数据源,具体请参考接入数据源。 ROMA Connect具备向目标端数据源写入数据的权限。 若需要配置同步异常的数据存储,需要完成OBS数据源的接入配置,具体请参见接入OBS数据源。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。
importClass(com.roma.apic.livedata.config.v1.KafkaConfig); var kafka_brokers = '1.1.1.1:26330,2.2.2.2:26330' var topic = 'YourKafkaTopic' function
importClass(com.roma.apic.livedata.config.v1.KafkaConfig); var kafka_brokers = '1.1.1.1:26330,2.2.2.2:26330' var topic = 'YourKafkaTopic' var group
dameng数据源类型(tag:hcs) opengauss : opengauss数据源类型(tag:hcs) type String 脚本类型 SQL:sql语句 SP:存储过程 object_name String 返回对象。 最小长度:1 最大长度:32 content String API脚本内容 请对脚本进行base64编码
默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 broker列表 填写ActiveMQ的broker连接地址,即主机IP地址和端口,多个broker地址可单击“添加地址”按钮进行添加。 用户名 填写连接ActiveMQ的用户名。 密码 填写连接ActiveMQ的用户密码。
可通过该配置项进行路由配置。 付费信息 实例的计费模式。 RCU分布配置 分布给不同集成能力的RCU值。 消息存储空间 实例的MQS消息存储空间信息,包括存储类型和存储空间使用率(百分比)。 MQS基本信息 实例的MQS的基本配置信息。 对应Kafka引擎类型,您可以根据实际需要修改“容量阈值策略”。
Hive目标端写入时出现数据乱码 原因分析 创建任务时,目标端存储类型选择与建表时类型不一致。 比如建表时存储类型为text(文本文件),而创建任务时目标端存储类型选择了RCFile格式。 解决方案 修改界面选择的存储类型与建表时一致即可。 父主题: 数据集成任务
的信号,则表明该消息已经被ROMA Connect可靠存储。 消息消费 消息消费时,消费者需要确认消息是否已被成功消费。 生产的消息被依次存储在ROMA Connect的存储介质中。消费时依次获取ROMA Connect中存储的消息。消费者获取消息后,进行消费并记录消费成功或失败的状态,并将消费状态提交到ROMA