检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在数据集成任务运行过程中,把转换异常的数据存储到OBS中。 分布式缓存服务 分布式缓存服务(Distributed Cache Service,简称DCS)为您提供即开即用、安全可靠、弹性扩容、便捷管理的在线分布式缓存能力,兼容Redis,满足用户高并发及快速数据访问的业务诉求。
使用iOS系统时,如何进行APP认证? 目前APIC为APP认证提供了Java、Python、C、PHP、Go等多种语言的SDK与demo,当您使用iOS系统或者其他未包含在内的语言时,请参考APP认证工作原理进行APP认证。 父主题: 服务集成
1分钟。查询范围一小时以内,一分钟一个样本,其样本值为一分钟内的累计值。 为了安全起见,在服务器上使用curl命令调用接口查询信息后,需要清理历史操作记录,包括但不限于“~/.bash_history”、“/var/log/messages”(如有)。 调试 您可以在API Ex
FDI通过公网对接其他租户的MRS HIVE如何配置? 首先需要将MRS的IP全部绑定EIP,然后在MRS配置文件中的私网IP全部替换成EIP,再到hdfs-site.xml文件中添加一个配置项“dfs.client.use.datanode.hostname”,值设为“true”。
申请体验版实例 华为云用户可以免费申请使用体验版实例,申请后工作人员会在一个工作日内完成审批。体验版实例的配额存在限制,并且任务会在30天后被自动清理。 体验版实例作为系统实例,仅提供使用能力,不支持删除和修改配置信息。当前体验版实例仅展示在工作台的实例页签中,使用时,体验版实例和其他用户实例一样,都可以在实例列表中选择。
空间,这样就需要分配特定批量处理数值的内存大小。 buffer.memory 33554432 67108864 producer可以用来缓存数据的内存大小。如果数据产生速度大于向broker发送的速度,producer会阻塞或者抛出异常,以“block.on.buffer.full”来表明。
源端API类型数据源自定义周期如何设置? 创建FDI普通任务时,当源端数据源选择API类型并且开启增量迁移时,支持自定义周期,自定义周期配置详细说明可参照以下示例: 当粒度单位为“小时”时,分别有以下四种配置场景。 以时间点2020-11-05 22:10为例,如下图。 周期指定
日志文件数 CPU 内存 磁盘 Filebeat 5个 1核 256MB 当Filebeat已读取日志,但尚未发送至其它组件前,会把日志数据缓存到磁盘中,因此磁盘占用为已读取日志文件总大小,最大值为200MB*日志文件数。 10个 2核 256MB ELK:Logstash 5个 2核
和保留期时长。 避免和处理欠费 若ROMA Connect实例不再使用,您可以将他们删除,以免继续扣费。实例删除后,数据无法恢复,如需保存缓存数据,请提前执行数据备份并下载保存。 您可以在“费用中心 > 总览”页面设置“可用额度预警”功能,当可用额度、通用代金券和现金券的总额度低
可参考以下三种方法进行处理: Kafka通道的topic中的数据老化时间为6小时,可以等待脏数据被清理掉后启动任务。 删除原任务并重建,那么Kafka通道中的topic会被删除,脏数据会被清理掉。 对于组合任务,可以删除此表,启动任务后,等Writer端消耗掉此表的数据,再将表加回来重新采集。
如何修复意外重启等原因导致的XStream模式Oracle CDC功能异常? 因Oracle数据库意外重启等原因导致CDC功能异常时,可以在Oracle数据库中执行以下命令来排查和修复。 以sys用户连接到Oracle数据库,然后执行以下命令: SELECT CAPTURE_NAME
kafka.common.serialization.StringSerializer。 BufferMemorySize producer可以用来缓存数据的内存大小,默认为33554432。 Retries 重试次数。 父主题: 消息系统
Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 ROMA Connect支持Oracle的XStream和LogMiner两种CDC模式,本章节主要介绍如何为Oracle数据库开启LogMiner模式的CDC功能。另外,根据Oracle数据库类型为CDB数据库还是非CDB数据库,CDC的配置有所不同。
会使用函数别名URN identities 否 Array of Identity objects 认证来源 ttl 否 Integer 缓存时间 user_data 否 String 用户数据 ld_api_id 否 String 自定义后端服务ID。 自定义认证函数类型为LD时必填
会使用函数别名URN identities 否 Array of Identity objects 认证来源 ttl 否 Integer 缓存时间 user_data 否 String 用户数据 ld_api_id 否 String 自定义后端服务ID。 自定义认证函数类型为LD时必填
集成应用 选择2创建的集成应用。 类型 创建前端自定义认证时,选择“前端”。 函数地址 选择创建用于前端认证的函数后端中创建的函数后端。 缓存时间(秒) 保持默认设置。 身份来源 保持默认设置。 是否发送body 保持默认设置。 用户数据 保持默认设置。 完成后单击“确定”。 父主题:
Consumer需周期poll,维持和server的心跳,避免心跳超时,导致Consumer频繁加入和退出,阻塞消费。 Consumer拉取的消息本地缓存应有大小限制,避免OOM(Out of Memory)。 Consumer session的超时时间设置为30秒,session.timeout
会使用函数别名URN identities 否 Array of Identity objects 认证来源 ttl 否 Integer 缓存时间 user_data 否 String 用户数据 ld_api_id 否 String 自定义后端服务ID。 自定义认证函数类型为LD时必填
会使用函数别名URN identities 否 Array of Identity objects 认证来源 ttl 否 Integer 缓存时间 user_data 否 String 用户数据 ld_api_id 否 String 自定义后端服务ID。 自定义认证函数类型为LD时必填
忽略,只会使用函数别名URN identities Array of Identity objects 认证来源 ttl Integer 缓存时间 user_data String 用户数据 ld_api_id String 自定义后端服务ID。 自定义认证函数类型为LD时必填 need_body