检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HIVE：HIVE数据源 MRSHBASE：MRS HBASE数据源 MRSHDFS：MRS HDFS数据源 MRSHIVE：MRS HIVE数据源 MRSKAFKA：MRS KAFKA数据源 MRSREDIS：MRS REDIS数据源 MRSCLICKHOUSE：MRS CLICKHOUSE数据源
辑器页面，后端类型默认为数据后端。 配置和部署数据后端。 在编辑器页面左侧单击“添加数据源”。 在添加数据源弹窗中配置数据源信息，完成后单击“立即添加”。 表2 数据源配置 参数 配置说明 选择数据源 选择创建MQS到数据库的集成任务中接入的MySQL数据源。 选择执行语句类型
如果ROMA Connect支持的数据源类型无法接入您使用的数据源，您可以自行开发一个数据源插件，用于实现对数据源的读写。 同时，这个数据源插件以标准RESTful接口形式供ROMA Connect接入，最终实现ROMA Connect对数据源的读写。 这个数据源插件称为连接器，这类通过连接器接入的数据源称为自定义数据源。
MRS Hive写入时数据全部写在第一个字段里 原因分析 建表时没有使用列分隔符。 解决方案 在数据库中执行以下命令设置分隔符： alter table 表名set serdeproperties('field.delim'='分隔符') 父主题： 数据集成任务
Check连接器用于对接华为云CodeArts Check服务。 代码检查（CodeArts Check）是自主研发的代码检查服务。建立在多年自动化源代码静态检查技术积累与企业级应用经验的沉淀之上，为用户提供代码风格、通用质量与网络安全风险等丰富的检查能力，提供全面质量报告、便捷闭环处理问题，帮助企业有效管控代码质量，助力企业成功。
在DWS磁盘空间达到阈值，例如80%，或者某些大数据量的表存在数据倾斜时，DWS集群会变为只读状态。从FDI侧来看，在某个时间点，所有访问DWS的任务均异常停止。 解决方案 处理DWS只读状态问题，恢复数据库服务后，如果FDI的任务停止时间没有超过6小时，可以直接启动任务。如果已经超过6小时，通道内的数据已经过期，
数据源管理 接入DWS数据源 接入GaussDB数据源 接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源 接入MRS HBase数据源 接入FI HBase数据源 接入Oracle数据源 接入SQL Server数据源 接入DAMENG数据源
le、PostgreSQL/openGauss、SQL Server、GaussDB(for MySQL)数据源支持清空目标表，其他数据源不支持清空表操作。 父主题： 数据集成普通任务
描述：填写参数的描述信息。 返回类型 选择后端的响应数据格式，可选择“JSON”、“XML”和“STREAM”。 是否格式化 是否将响应消息体按选择的返回类型进行格式化。 后端创建完成后，页面自动跳转到该后端的编辑器页面，后端类型默认为数据后端。 配置函数后端。 在编辑器的左上角单击“文件
发。它是一个高吞吐量、低延迟的平台，可以处理大量的实时数据流。Kafka主要由三个部分组成：生产者、消费者和代理服务器。生产者将数据发布到Kafka集群，消费者从Kafka集群订阅数据并进行处理，代理服务器则是Kafka集群中的核心组件，负责处理消息的存储和转发。Kafka的主要
接入MySQL数据源 概述 ROMA Connect支持把MySQL数据库作为一个数据源，并用于数据集成任务或用于创建数据API。在使用MySQL数据源前，您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下，在接入数据源前您需要有可用的集成应用，否则请提前创建集成应用。
DIS数据库类型 源端进行数据采集时，一个通道只支持一个任务运行。 WebSocket数据库类型 创建数据集成任务时，“是否解析”选择“是”时，“元数据”中的“解析路径”必须配置，否则任务会失败。 关系型数据库类型 最大只支持1000万数据量的表同步。 组合任务（CDC） 源端： 定
HIVE：HIVE数据源 MRSHBASE：MRS HBASE数据源 MRSHDFS：MRS HDFS数据源 MRSHIVE：MRS HIVE数据源 MRSKAFKA：MRS KAFKA数据源 MRSREDIS：MRS REDIS数据源 MRSCLICKHOUSE：MRS CLICKHOUSE数据源
903(输出数据完整性校验结果) 904(经过数据完整性校验，发现有数据缺失，正在进行数据补偿) 905(输出数据补偿结果) 906(读取任务正在在排队中（平台资源）) 907(读取任务被拒绝执行，因为上一次调度还没有结束) 908(写入任务正在在排队中（平台资源）) 909(写
HIVE：HIVE数据源 MRSHBASE：MRS HBASE数据源 MRSHDFS：MRS HDFS数据源 MRSHIVE：MRS HIVE数据源 MRSKAFKA：MRS KAFKA数据源 MRSREDIS：MRS REDIS数据源 MRSCLICKHOUSE：MRS CLICKHOUSE数据源
发。它是一个高吞吐量、低延迟的平台，可以处理大量的实时数据流。Kafka主要由三个部分组成：生产者、消费者和代理服务器。生产者将数据发布到Kafka集群，消费者从Kafka集群订阅数据并进行处理，代理服务器则是Kafka集群中的核心组件，负责处理消息的存储和转发。Kafka的主要
向DWS写入数据时越来越慢怎么解决 原因分析 查看界面上的采集数据，如果写入数据耗时在秒级，属于正常的情况。如果写入几千条数据超过5秒，一般是性能劣化的表现。 解决方案 如果对DWS的某个表频繁访问，会导致写入性能逐渐降低，需要对DWS进行调优，例如，定时使用analyze规划表、VACUUM
本章节介绍任务执行完成后，如何配置消息发送，如果不需要发送消息可不配置。 前提条件 已经在对应的应用下创建Kafka和MRS Kafka数据源，数据源创建参考接入Kafka数据源和接入MRS Kafka数据源。 已创建消息集成Topic并授发布和订阅权限。创建Topic和授权参考消息集成指导章节。 配置任务完成后执行
图解应用与数据集成平台
是否允许有值 此数据标准关联的数据是否有值 允许值范围 若允许有值，则填写对应的允许值，以逗号分隔。 数据示例 填写此数据标准的数据示例信息。 数据管家 填写此数据标准的数据管家。 数据类型 选择此数据标准的数据类型。 业务规则责任部门 填写此数据标准的业务规则责任部门。 同义词 填写此数据标准的同义词信息。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
