检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
源端Mysql增量采集每小时执行一次时部分数据丢失 原因分析 任务中配置的时间戳字段为updatetime,源端数据库中createtime记录了数据插入的时间,查看未采集到的数据,updatetime要早于createtime,导致任务运行时数据还没有插入updatetime的时
读写的表名、可以进行增量读取的时间戳字段列名等。 图2 连接器配置2 发布连接器 连接器创建完成后,单击发布,可以发布连接器的实例。 连接器和连接器实例的关系,类似编程中的类和类对象实例。 连接器定义了针对某种数据源的规范,连接器实例则对应了具体的RESTful服务,所以需要指定RESTful连接地址
设置APP的访问控制 功能介绍 设置客户端配置的访问控制。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT /v2/{project_id}/apic/ins
本节主要提供数据集成任务异常数据存储的配置说明,仅当目标端数据类型为DB2、DWS、MySQL、GaussDB(for MySQL)、Oracle、PostgreSQL和SQL Server、Gauss100时可配置。 在每次任务执行过程中,如果源端的某些数据符合集成条件,但因为网络
FDI任务是否支持清空目标表? FDI创建任务时目标端选择DWS、MySQL、Oracle、PostgreSQL/openGauss、SQL Server、GaussDB(for MySQL)数据源支持清空目标表,其他数据源不支持清空表操作。 父主题: 数据集成普通任务
创建特殊设置 功能介绍 流控策略可以限制一段时间内可以访问API的最大次数,也可以限制一段时间内单个租户和单个APP可以访问API的最大次数。 如果想要对某个特定的APP进行特殊设置,例如设置所有APP每分钟的访问次数为500次,但想设置APP1每分钟的访问次数为800次,可以通
设置用户成员 功能介绍 设置应用的用户成员,为空数组时会清空已有应用成员列表。 设置动作为全量更新非增量更新,应用的成员列表都会替换为当次请求的应用成员列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
获发生的异常并根据配置的参数进行重试和异常处理操作。 配置参数 参数 说明 错误类型 捕获异常类型。“运行异常”包含当前所有服务异常。 包含错误信息 捕获异常包含错误信息。只有当捕获的异常信息中包含指定错误信息时,会进行异常处理步骤。 重试次数 发生异常时对监控部分流程的最大重试次数。
Integer 特殊对象在流控时间内能够访问API的最大次数限制 apply_time String 设置时间 app_name String 作用的APP名称 app_id String 作用的APP编号 object_id String 特殊对象的身份标识 object_type String
String 作用的APP名称 app_id String 作用的APP编号 object_id String 特殊对象的身份标识 object_type String 特殊对象类型:APP、USER object_name String 作用的APP或租户的名称 throttle_id
可能是以下三种原因导致,请逐一排查: 后端服务地址错误。 后端超时时间设置不合理。 当后端服务没有在设置的后端超时时间内返回时,API网关提示后端服务调用失败。 如果“后端服务地址”在ECS(Elastic Cloud Server),ECS的安全组无法被外部访问。 解决方案 在编辑API中修改后端服务地址。
String 项目ID,获取方式请参见API参考的“附录 > 获取项目ID”章节。 instance_id 是 String 实例ID throttle_id 是 String 流控策略的编号 strategy_id 是 String 特殊配置的编号 请求参数 表2 请求Header参数
Hive数据源时,上传的配置文件中全部用的EIP,Hosts里面也配置好IP与Hostname,但是在上传文件时HDFS的Master节点返回的node节点的IP为内网IP,所以连接不通,导致FDI任务执行异常。 解决方案 修改在创建MRS Hive数据源时上传的hdfs-site.xml文件中,在hdfs-site
out,由于格式限定,出参的value也需要填写,可填写符合数据类型的任意值,不影响输出结果。 数据API中对存储过程的调用,用String和int来区分字符串和数值,无需加单引号,这一点和SQL要求不一样。 在后端服务的Headers、Parameters或者Body中定义的参数名不能相同,否则将被覆盖。
max_cpu_time 允许函数API中执行的CPU时间占用的最高时长。单位:毫秒。 60000 ms 1-1000000 ms max_memory 允许函数API中执行的内存大小。单位:字节。 256 M 1-9536 M livedata_env 自定义后端的运行模式,设置为online时,自定义后端API将会按照线上格式返回。
MB),但是有以下几点限制: 使用APP认证时,认证签名只能签12MB,如果请求体大于12MB,签名会失败。 托管类API的请求体最大为2GB。 函数API请求体受内部沙箱内存大小的限制,无精确计算值。 父主题: 服务集成
FTP数据源解析模式下支持的最大文件大小为200M,超过200M的文件将自动跳过,不进行采集;解析的数据行数最大为1500000;不解析模式下,支持的最大文件大小为6M,最大文件数量为20000。 说明: FTP数据源之间多个文件同步统计,代表的是本次同步的文件的数量。 OBS数据源类型
FDI各类数据库支持哪些数据类型? FDI各类数据库支持的数据类型有: Kafka数据库:string MySQL数据库:integer,bigint,number,varchar,char,float,date,timestamp,datetime Oracle数据库:inte
设置特殊流控 创建特殊设置 修改特殊设置 删除特殊设置 查看特殊设置列表 父主题: 服务集成API
数据源名称 填写数据源的名称,自定义。 集成应用 选择在ROMA Connect注册设备中所创建的集成应用。 描述 填写数据源的描述信息。 连接模式 选择“默认”方式。 连接地址 填写MySQL数据库的访问IP地址。 端口 填写MySQL数据库的访问端口,MySQL的默认访问端口为3306,以数据库的实际配置为准。