检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
原因分析 数据源配置的不是本实例下的MQS地址,所以本实例下的MQS中虽然有消息,但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置,修改数据源配置为正确的MQS地址。 父主题: 数据集成任务
1.1.0版本工具 2.7.2版本工具 已在Kafka命令行工具的使用环境中安装Java JDK,并完成相关环境变量的配置。
配置任务完成后执行 在创建任务页面中配置任务完成后执行信息。 表1 任务完成后执行 参数 配置说明 执行动作 选择任务完成后是否发送消息。 不发送消息:表示任务完成后不发送消息通知。 发送消息至Kafka:表示任务完成后发送消息至Kafka。
方法列表 返回类型 方法和说明 static String getAppConfig(String key) 根据config key获取集成应用的配置 方法详情 public 根据config key获取配置 输入参数 key:集成应用的Key 返回信息 返回集成应用的配置 父主题
数据集成组合任务 目标表中配置的RowId字段类型不正确导致写入数据失败 读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma
引用函数表达式 用户在编辑设计组合应用时,可以通过引用函数表达式的方式快速配置连接器的配置信息,帮助用户便捷高效的设计组合应用。 组合应用中的函数表达式使用方法如图1所示。
FDI通过公网对接其他租户的MRS HIVE如何配置?
附录:QuartZ Cron表达式配置说明 参数说明 数据集成任务支持使用QuartZ Cron表达式配置定时任务的调度计划。 QuartZ Cron表达式由6个部分组成,每个部分使用空格隔开。
方法列表 返回类型 方法和说明 Object put(String key, Object value) 设置配置参数 方法详情 public Object put(String key, Object value) 设置配置参数 输入参数 key:配置信息key value:配置信息
查看实例信息 概述 实例创建完成后,可在控制台查看和编辑实例的配置信息,主要包含基本信息、配置参数、数据字典、导入导出资产以及后台任务。 查看后台任务请参考查看后台任务,配置参数请参考修改实例配置参数,数据字典请参考创建数据字典,导入导出资产请参考导入导出资产。
获取资产包所属源实例的配置信息,仅资产迁移场景需要。 主要包括实例的安全组配置、实例配置参数和数据字典信息。 获取周边系统的对接信息,仅资产迁移场景需要。 系统 数据项 用途 数据源 数据源的访问IP、用户名和密码。 用于ROMA Connect对接数据源。
解决方案 修改数据源配置,连接与安全配置项选择“专业”模式,在字符串最后加上tinyInt1isBit=false的配置,如:jdbc:mysql://ip:port/database?tinyInt1isBit=false。 父主题: 数据集成任务
连接器定义了针对某种数据源的规范,连接器实例则对应了具体的RESTful服务,所以需要指定RESTful连接地址 (由部署的用户服务器地址决定)。 图3 发布连接器 接入自定义数据源。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。
解决方案 在MQTTBox客户端配置页面,检查MQTT Client Id、Host、Username和Password的配置是否有误。 将“Appendtimestamp to MQTT client id?”选项去勾选。 父主题: 设备集成
访问地址:IP:Port 其中,IP为ELK所部署服务器的IP;Port为Kibana端口号,默认为5601,也可以在修改ELK配置时自定义端口号。如果网络中部署了防火墙,需提前配置防火墙的端口访问权限。 用户名密码:在部署ELK时自定义的用户名和密码。
查看数据集成任务 概述 数据集成任务创建后,您可以查看任务的相关信息,包括任务的配置信息、运行日志、操作日志和调度日志等。 您也可以修改任务的配置,修改任务的操作跟创建任务类似,具体配置说明可参见创建数据集成任务。
任务配置时源端OBS的元数据填写顺序必须与CSV文件中列的顺序一致,需修改任务配置,按照文件中列的顺序填写元数据。 父主题: 数据集成普通任务
Kafka集到Mysql目标端报“cannot find record mapping field”错误 原因分析 查看任务mapping配置,源端字段类型的长度超出目标端字段类型的长度限制,或者配置的映射字段中某个字段在源端的数据中不存在。
映射字段配置完成,后单击“保存”,完成表映射。 配置异常数据存储。 仅当目标端数据类型为MySQL、Oracle、PostgreSQL、SQL Server时可配置,在配置异常数据存储前,需要提前完成OBS数据源的接入配置,具体请参见接入OBS数据源。
参数:soapCfg表示传入SoapClient的配置信息。 方法列表 返回类型 方法和说明 APIConnectResponse execute() 用于发送SOAP请求 父主题: 自定义后端开发(函数后端)