检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
失 原因分析 任务中配置的时间戳字段为updatetime,源端数据库中createtime记录了数据插入的时间,查看未采集到的数据,updatetime要早于createtime,导致任务运行时数据还没有插入updatetime的时间已经不在增量采集的时间段之内,所以部分数据采集不到。
API名称 填写API的名称,自定义。 集成应用 选择创建用于前端认证的函数后端中创建的集成应用。 所属分组 选择前端API所属的API分组。若没有可用的API分组,可单击右侧的“创建分组”,创建一个API分组。 URL 配置API的URL。 请求方法:选择API的请求方法,此处选择“GET”。
Hive数据源时,上传的配置文件中全部用的EIP,Hosts里面也配置好IP与Hostname,但是在上传文件时HDFS的Master节点返回的node节点的IP为内网IP,所以连接不通,导致FDI任务执行异常。 解决方案 修改在创建MRS Hive数据源时上传的hdfs-site.xml文件中,在hdfs-site
“脚本处理”组件用于处理数据。用户可使用指定的编程语言编写脚本,对传入“脚本处理”组件的数据进行处理,生成新的数据供后续步骤使用。 配置参数 参数 说明 语言 选择编写脚本使用的编程语言,当前支持ES6版本的JavaScript语言。 内容 编写脚本内容。 可通过变量的形式引用前序步骤中的数据,请参考引用变量。
HTTP响应连接器用于自定义API的返回信息,用户调用开放的API后将接收到指定的响应码和响应体。 支持的动作 自定义HTTP响应 配置参数 参数 说明 响应头 配置API响应信息中的响应头参数。可使用常量值,也可通过引用变量的方式引用前序节点中的数据。 响应体 配置API响应信息中的响应体内容,可
无认证:表示API请求不需要认证。使用该方式的API适合所有用户调用,安全级别低,请谨慎使用。 请求方法 选择API的请求方法。 请求Path 填写API的请求路径。 匹配模式 选择API请求路径的匹配模式。 绝对匹配:API请求中的请求路径要与“请求Path”的配置一致。 前缀匹配:API请求中的请求路径要以
“数据拆分”组件将传入该节点的数据按照指定的表达式进行拆分,并将拆分的结果通过节点变量传递给后续节点。通常“数据拆分”组件后续会连接“数据筛选”组件以配合使用。 “数据拆分”为异步处理组件,如果一个任务中存在“数据拆分”节点,最终开放的API将返回传入“数据拆分”节点时的数据。 配置参数 参数
功能介绍 流控策略可以限制一段时间内可以访问API的最大次数,也可以限制一段时间内单个租户和单个APP可以访问API的最大次数。 如果想要对某个特定的APP进行特殊设置,例如设置所有APP每分钟的访问次数为500次,但想设置APP1每分钟的访问次数为800次,可以通过在流控策略中设置特殊APP来实现该功能。
填写连接器实例名称。 邮箱地址 发件人的163邮箱地址。 授权码 发件人的163邮箱授权码,可在163邮箱个人中心的设置中获取。具体操作请参考配置163邮箱授权码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 发送邮件 配置参数 参数 说明 收件人 填写邮件的收件人邮箱地址列表,多个电子邮件地址使用英文逗号(
Connect服务提供的SDK语言版本,列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 SDK列表 在开始使用之前,请确保您安装的是最新版本的SDK。使用过时的版本可能会导致兼容性问
Connect支持的数据源类型无法接入您使用的数据源,您可以自行开发一个数据源插件,用于实现对数据源的读写。 同时,这个数据源插件以标准RESTful接口形式供ROMA Connect接入,最终实现ROMA Connect对数据源的读写。 这个数据源插件称为连接器,这类通过连接器接入的数据源称为自定义数据源。
实时:实时将源端产生的数据集成到目标端。 两种集成模式分别所支持的数据源类型请参见接入数据源。 支持自定义数据映射规则 在进行源端到目标端的数据字段转换时,您可以自定义映射规则,例如将源数据的一个数据列复制出相同的多列数据,再集成到目标端。 支持不同网络环境间的数据集成 源端数据与
分支名”获取该分支的执行结果。 失败时停止 并行处理出现错误时的是否停止。 True:表示任一并行处理的分支出现错误时,整个任务便停止,并返回错误信息。 False:表示并行处理的分支出现错误后,整个任务会继续执行后续节点。 超时时间(ms) 并行处理过程的最长执行时间,如果超
终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询所有服务的终端节点。 父主题: 使用前必读
可能是以下三种原因导致,请逐一排查: API未发布到环境。 访问的URL与API详情中的URL不相同。 API使用OPTIONS跨域请求,API中未开启CORS,未创建OPTIONS方式的API。 解决方案 发布API到环境。 修改URL,使访问的URL与API详情中的URL保持一致,注意URL后如果少一个“/”也会导致无法匹配上此API。
c,元素d的解析路径需设置为a.b.d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b.c,元素d的解析路径需设置为b.d。 数据根字段设置为a.b 元数据的解析路径从元素b的下层路径开始。元素c的解析路径需要设置为c,元素d的解析路径需设置为d。
SQL语法 数据后端与各数据库的SQL语法差异 如果需要把后端服务请求中携带的参数传递给SQL,使用${参数名}的方式传递,其中String类型的参数需要用单引号括起来,int类型的参数则不需要。 如以下示例,name为String类型参数,id为int类型参数。 select *
组合应用 组合应用可进行应用的复合集成,通过开放的API和事件通道进行应用的多次组装,形成新的组合应用,实现业务的快速复制创新,形成千人千面的集成体验。 连接器 iPaaS连接器是一种云服务,能够用于连接应用程序、数据和设备,以实现各种集成方案。连接器提供了预构建的连接点,以便将数据从一
向DWS写入数据时越来越慢怎么解决 原因分析 查看界面上的采集数据,如果写入数据耗时在秒级,属于正常的情况。如果写入几千条数据超过5秒,一般是性能劣化的表现。 解决方案 如果对DWS的某个表频繁访问,会导致写入性能逐渐降低,需要对DWS进行调优,例如,定时使用analyze规划表、VACUUM
将xml格式的字符串转化成json格式 输入参数 xml:xml格式的字符串 返回信息 返回json格式的字符串 public static Map<String,Object> toMap(String xml) xml转化成Map 输入参数 xml:xml格式的字符串 返回信息