检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
向DWS写入数据时越来越慢怎么解决 原因分析 查看界面上的采集数据,如果写入数据耗时在秒级,属于正常的情况。如果写入几千条数据超过5秒,一般是性能劣化的表现。
将上述获取到的文件放到一个新的目录下,并打包成zip文件,所有文件位于zip文件的根目录下。 文件名只能由英文字母或数字组成,长度不超过255个字符。 文件大小不超过2MB。 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。
在左侧的导航栏选择“数据集成 FDI > 任务管理”。 在任务管理页面中单击“导入任务”按钮,界面弹出本地文件目录,选中需要导入的文件进行导入。 在“导入任务”弹窗中根据实际情况选择导入类型,可选择“全量新增”或“覆盖导入”。 父主题: 数据集成任务管理
数据库 MySQL Redis DB2 GaussDB DWS Milvus Oracle PostgreSQL Sql Server 父主题: 连接器
ROMA Connect实例中的资源都要归属到某个集成应用下,在创建其他资源前,您需要确保有一个集成应用。若已有可用的集成应用,可跳过此步骤。 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。
开放数据API 接入数据源 创建数据后端 发布数据API 绑定域名 配置调用授权(可选) 父主题: 服务集成指导
源端集成应用 选择OBS数据源所属的集成应用,在接入数据源时已配置。 源端数据类型 选择“OBS”。 数据源名称 选择接入数据源中已配置的OBS数据源。 Path 填写OBS数据源中,要获取数据文件所在的路径。Path的值不能以斜杠(/)结尾,不能设置为OBS桶的根目录。
因此,数据集成任务停止运行的时间不宜过长。建议最少保留2天以上的归档日志。 在首次执行数据同步期间,建议不要对源端数据库做DDL操作。 如果创建组合任务个数过多,对数据库服务器、FDI插件进程均会产生资源消耗,所以建议对一个数据库,不要创建过多组合任务。
图1 自动Mapping 手动配置Mapping 如果两端的数据表字段不一致,可单击下方的“添加mapping映射”,配置源端数据字段到目标端数据字段的映射关系。 用户可以手动添加源端数据字段与目标端数据字段的映射规则,该方式适用于所有数据类型的集成场景。
接入数据源 概述 在创建数据API之前,您需要先接入数据源,确保可以正常从数据源读取数据。根据数据源类型的不同,数据源的接入配置有所差异。 前提条件 在接入数据源前,请确保ROMA Connect实例与您的数据源所在网络互通。
在左侧的“数据源”中,选择类型并单击“”展开,再选择数据源组件拖拽至集成应用中,作为源端节点。 单击源端数据源节点进行配置,选择对应数据源。 如果无可用数据源,可单击“添加数据源”进行添加,具体请参考数据源管理。 添加目标端节点。
设备数据上报 主题Topic Topic /v1/devices/{gatewayId}/datas 消息发送方 边设备 消息接收方 物联网平台 参数说明 字段名 必选/可选 类型 参数描述 devices 必选 DeviceS[] 设备数据。
对象 可查看和管理本集成应用下的资源,包括数据源、API、Topic和设备,您可对本集成应用下的资源进行创建、编辑、删除等操作,具体操作指导请参考数据源、API、Topic和设备的使用指导。 父主题: 集成应用管理
数据源 接入POSTGRESQL数据源 接入SFTP数据源 接入SYBASEIQ数据源 接入HANADB数据源 接入APPCUBE数据源 接入APIC数据源 接入数据治理中心数据源 接入本地文件数据源 接入IOT数据源 接入自定义数据源 父主题: 采集技术模型
ROMA Connect实例是一个独立的资源空间,所有的操作都是在实例内进行,不同实例间的资源相互隔离。您可以根据业务需要使用一个或多个实例。 若需要删除实例,会同步删除实例中所创建的所有资源数据,请谨慎操作。建议在删除实例前导出实例的资产数据进行备份。
选择写入OBS数据源的数据文件编码方式,可选择“UTF-8”和“GBK”。 Path 填写数据要写入OBS数据源的数据文件所在路径。Path的值不能以斜杠(/)结尾,不能设置为OBS桶的根目录。
ROMA Connect实例是一个独立的资源空间,所有的操作都是在实例内进行,不同实例间的资源相互隔离。您可以根据业务需要使用一个或多个实例。 若需要删除实例,会同步删除实例中所创建的所有资源数据,请谨慎操作。建议在删除实例前导出实例资产数据进行备份。
数据集成API 数据源管理 任务监控管理 任务管理
但是FDI任务没有采集到数据。
接入DWS数据源 概述 ROMA Connect支持把DWS(数据仓库服务)作为一个数据源,并用于数据集成任务或用于创建数据API。在使用DWS数据源前,您需要先接入数据源。