检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FDI任务只能采集单张表到单张表吗? 普通任务只能从源端的单个表采集到目标端单个表,组合任务可以配置多个表采集到多个表。 父主题: 数据集成普通任务
产品管理”,单击页面右上角的“创建产品”。 在创建产品弹窗中配置产品相关信息,完成后单击“确认”。 表1 产品配置 参数 配置说明 产品类型 本配置样例中的设备为直连设备,此处选择“普通产品”。 协议类型 本配置样例中选择MQTT协议类型。 集成应用 选择1中创建的集成应用。 产品模板 本配置样例中未使用产品模板,此处不设置。
FTP数据源测试连接失败 原因分析 服务器端和数据源的连接模式不一致,例如,服务器端连接模式配置为主动连接模式,而数据源配置为被动连接模式。 解决方案 修改连接模式,使服务器端和数据源的连接模式保持一致。 如果排除以上问题后,仍然连接失败,可参考数据源连接测试失败排查操作进行问题排查。
在API运行页面中,根据API的定义配置API的请求参数。 表1 请求参数配置 参数 说明 Parameters Path变量:仅当API的请求路径包含Path参数时,支持配置Path参数。 Query参数:单击“新增请求参数”,根据API的定义添加和配置Query参数。 Headers
调用请求包最大支持多少? API请求体大小可以在实例配置参数中配置(1-9536 MB),但是有以下几点限制: 使用APP认证时,认证签名只能签12MB,如果请求体大于12MB,签名会失败。 托管类API的请求体最大为2GB。 函数API请求体受内部沙箱内存大小的限制,无精确计算值。
在左侧的导航栏选择“服务集成 APIC > API分析”。 开启日志分析。 在“日志分析”页签单击“配置访问日志”。 在配置访问日志弹窗配置日志接入信息,完成后单击“确定”。 表1 配置访问日志 参数 配置说明 启动日志记录 选择是否启用日志记录,仅启用后才能查看API的调用日志。 日志组 选择日志流所在的日志组。
登录Kibana可视化界面。 访问地址:IP:Port 其中,IP为ELK所部署服务器的IP;Port为Kibana端口号,默认为5601,也可以在修改ELK配置时自定义端口号。如果网络中部署了防火墙,需提前配置防火墙的端口访问权限。 用户名密码:在部署ELK时自定义的用户名和密码。 在页面左上角单击“”,然后选择“Analytics
源端Mysql增量采集每小时执行一次时部分数据丢失 原因分析 任务中配置的时间戳字段为updatetime,源端数据库中createtime记录了数据插入的时间,查看未采集到的数据,updatetime要早于createtime,导致任务运行时数据还没有插入updatetime的
在左侧的导航栏选择“服务集成 APIC > 监控分析”。 开启日志分析。 在“日志分析”页签单击“配置访问日志”。 在配置访问日志弹窗配置日志接入信息,完成后单击“确定”。 表1 配置访问日志 参数 说明 启动日志记录 选择是否启用日志记录,仅启用后才能查看API的调用日志。 日志组
引用函数表达式 用户在编辑设计组合应用时,可以通过引用函数表达式的方式快速配置连接器的配置信息,帮助用户便捷高效的设计组合应用。 组合应用中的函数表达式使用方法如图1所示。 图1 函数表达式的使用方法 函数表达式的分类 组合应用提供数学、字符串、加解密、日期和时间、编解码、进制转换共六种类型的函数表达式。
终止 “终止”处理器用于结束组合应用内的流任务。 “终止”处理器一般置于流任务的末端。 “终止”处理器无需配置参数。 父主题: 处理器
查看实例特性列表 功能介绍 查看实例特性列表。注意:实例不支持以下特性的需要联系技术支持升级实例版本。 支持配置的特性列表及特性配置请参考“附录 > 实例支持的APIC特性” 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生
MRS Hive的配置文件中使用的私网IP,私网IP与FDI数据面IP不通导致连接失败。 HDFS URL填写了根目录hdfs:///hacluster,机机交互用户名填写的用户不具备管理员权限导致连接失败。 解决方案 将MRS Hive的服务端机器绑定EIP,在配置文件中将IP换成EIP,在hdfs-site
this operation”错误 原因分析 HDFS集群节点都绑定了EIP,在创建MRS Hive数据源时,上传的配置文件中全部用的EIP,Hosts里面也配置好IP与Hostname,但是在上传文件时HDFS的Master节点返回的node节点的IP为内网IP,所以连接不通,导致FDI任务执行异常。
资产目录 资产中心权限 在进行资产相关操作前,请先确认您的账号是否已获取相关操作的权限,具体所需的权限请参考ROMA资产市场权限。 如何配置账号权限请参考配置ROMA Connect使用权限。 查看资产信息 登录新版ROMA Connect控制台。 在左侧导航栏选择“资产中心>资产目录”。
Connect页面中配置购买资产的订单信息,完成后单击“下一步”。 表1 资产配置信息 参数 说明 区域 选择资产所使用区域。 产品类型 选择“资产”。 资产类型 选择资产类和资产。 API资产:需勾选资产规格和购买时长。 组合应用产品:勾选购买时长。 图1 订购资产 在配置确认界面勾选
异常监控 “异常监控”处理器用于对指定流程进行监控,捕获发生的异常并根据配置的参数进行重试和异常处理操作。 配置参数 参数 说明 错误类型 捕获异常类型。“运行异常”包含当前所有服务异常。 包含错误信息 捕获异常包含错误信息。只有当捕获的异常信息中包含指定错误信息时,会进行异常处理步骤。
钉钉 钉钉连接器用于实现在工作流中通过配置操作钉钉相关功能。 钉钉(Ding Talk)是阿里巴巴集团打造的企业级智能移动办公平台,是数字经济时代的企业组织协同办公和应用开发平台。 创建钉钉连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。
已获取API的调用信息,具体请参见开发准备。 已安装开发工具和PHP开发语言环境,具体请参见开发准备。 将PHP安装目录中的“php.ini-production”文件复制到“C:\windows”,改名为“php.ini”,并在文件中增加如下内容。 extension_dir = "php安装目录/ext" extension=openssl
可参考以下内容进行问题排查解决: 源表中此字段可为null,但创建目标表时设置此字段为非null属性,需修改字段属性保持一致。 用户配置任务时多了一个表映射,将一个相似名称的源表配置采集数据到此目标表,导致向此字段写入空数据,需确保表映射正确。 Oracle产生的RedoLog中,UPDATE语句