正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
普通任务只能从源端的单个表采集到目标端单个表,组合任务可以配置多个表采集到多个表。 父主题: 数据集成普通任务
API请求体大小可以在实例配置参数中配置(1-9536 MB),但是有以下几点限制: 使用APP认证时,认证签名只能签12MB,如果请求体大于12MB,签名会失败。 托管类API的请求体最大为2GB。 函数API请求体受内部沙箱内存大小的限制,无精确计算值。 父主题: 服务集成
FTP数据源测试连接失败 原因分析 服务器端和数据源的连接模式不一致,例如,服务器端连接模式配置为主动连接模式,而数据源配置为被动连接模式。 解决方案 修改连接模式,使服务器端和数据源的连接模式保持一致。
在“日志分析”页签单击“配置访问日志”。 在配置访问日志弹窗配置日志接入信息,完成后单击“确定”。 表1 配置访问日志 参数 说明 启动日志记录 选择是否启用日志记录,仅启用后才能查看API的调用日志。 日志组 选择日志流所在的日志组。
在“日志分析”页签单击“配置访问日志”。 在配置访问日志弹窗配置日志接入信息,完成后单击“确定”。 表1 配置访问日志 参数 配置说明 启动日志记录 选择是否启用日志记录,仅启用后才能查看API的调用日志。 日志组 选择日志流所在的日志组。
解决方案 调整源端数据库的updatetime时间或任务配置时使用createtime作为时间戳字段。 父主题: 数据集成任务
在API运行页面中,根据API的定义配置API的请求参数。 表1 请求参数配置 参数 说明 Parameters Path变量:仅当API的请求路径包含Path参数时,支持配置Path参数。 Query参数:单击“新增请求参数”,根据API的定义添加和配置Query参数。
ElasticSearch存储的数据,默认未设置过期时间,用户可根据磁盘空间情况,为ElasticSearch数据配置索引生命周期策略。
支持配置的特性列表及特性配置请参考“附录 > 实例支持的APIC特性” 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
引用函数表达式 用户在编辑设计组合应用时,可以通过引用函数表达式的方式快速配置连接器的配置信息,帮助用户便捷高效的设计组合应用。 组合应用中的函数表达式使用方法如图1所示。
解决方案 将MRS Hive的服务端机器绑定EIP,在配置文件中将IP换成EIP,在hdfs-site.xml文件中添加“dfs.client.use.datanode.hostname”配置项,值设为“true”。
如何配置账号权限请参考配置ROMA Connect使用权限。 查看资产信息 登录新版ROMA Connect控制台。 在左侧导航栏选择“资产中心>资产目录”。 单击资产卡片,进入资产详情页面,页面信息请参考表1。
There are 2 datanode(s) running and 2 node(s) are excluded in this operation”错误 原因分析 HDFS集群节点都绑定了EIP,在创建MRS Hive数据源时,上传的配置文件中全部用的EIP,Hosts里面也配置好
Filebeat部署在APIC的SHUBAO组件所在节点上,监控API调用日志的产生,并将其发送到ELK的Logstash进行处理。
配置示例 图中配置对mysql组件获取记录操作进行异常监控。
在弹窗中配置连接器信息,完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 应用凭证AppKey 应用凭证AppKey,可从钉钉的“应用开发>企业内部应用>应用详情页>应用信息”获取。
腾讯问卷 腾讯问卷连接器用于实现在工作流中通过配置操作腾讯问卷相关功能。 腾讯问卷是腾讯推出的在线问卷调查平台,提供从问卷设计、数据采集到统计分析的⼀站式专业调查研究服务。 创建腾讯问卷连接 登录新版ROMA Connect控制台。
创建FDI普通任务时,当源端数据源选择API类型并且开启增量迁移时,支持自定义周期,自定义周期配置详细说明可参照以下示例: 当粒度单位为“小时”时,分别有以下四种配置场景。 以时间点2020-11-05 22:10为例,如下图。 周期指定为“当前周期”,周期右边界“开区间”时。
用户配置任务时多了一个表映射,将一个相似名称的源表配置采集数据到此目标表,导致向此字段写入空数据,需确保表映射正确。 Oracle产生的RedoLog中,UPDATE语句的字段中没有WHERE条件,导致缺少此字段的值,需添加UPDATE语句字段中的WHERE条件。
ExchangeConfig类说明 路径 com.roma.apic.livedata.config.v1.ExchangeConfig 说明 与RabbitMqConfig和RabbitMqProducer配合使用,对交换器进行配置。