检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据映射 “数据映射”处理器用于将源端数据转换为目标端格式的数据。后续节点可通过payload方式引用数据映射处理器的输出数据。 配置参数 参数 说明 源端数据源 设置源端数据源,数据库类型的数据源在选择完表之后会自动显示字段信息,其他格式的数据源需要通过导入文件或者手动增加的形
ds_id String 数据源编号,当api_type = data时,必选 ds_name String 数据源名称 ds_type String 数据源类型: oracle:oracle数据源类型 mysql:mysql数据源类型 mongodb:mongodb数据源类型 redis:redis数据源类型
导入规则前,请确保规则的配额满足需求。 导入文件格式为csv,并需要使用UTF-8 BOM编码。 在使用导出的文件导入规则时: 如果要新增规则,则需要另外新建导入文件,并在新建的文件中添加新的规则信息。 规则导入文件中表头的名称和顺序固定不能更改,表头名称请参考规则导入文件说明。 确认导入文件是否从老版本实例
MRS Hive数据源测试连接失败 原因分析 可能是以下两种原因导致: MRS Hive的配置文件中使用的私网IP,私网IP与FDI数据面IP不通导致连接失败。 HDFS URL填写了根目录hdfs:///hacluster,机机交互用户名填写的用户不具备管理员权限导致连接失败。
暂不支持MARKET update_time String 更新时间 app_key String APP的key app_secret String 密钥 register_time String 注册时间 status Integer 状态 1: 有效 app_type String APP的类型:
发布数据API 在数据后端创建后,您需要发布数据后端,生成数据API并发布到环境上,才可供其他用户调用。 前提条件 每个API都要归属到某个API分组下,在发布函数API前您需要有可用的API分组,否则请提前创建API分组。 如果需要使用自定义认证方式进行API的安全认证,请提前创建前端自定义认证。
仓库所有者 填写GitHub中代码仓库的Owner。 pullRequest编号 填写要新增评论的pullRequest编号。 内容 填写评论的具体内容。 表2 关闭Pull Request 参数 说明 仓库名 填写GitHub中代码仓库的名字。 仓库所有者 填写GitHub中代码仓库的Owner。
字段分隔符 仅当“文件类型”选择“txt”或者“高级属性”选择“是”时需要配置。 填写文件内容的字段分隔符,用于区分每行数据中的不同字段。 是否添加文件头 选择是否为写入的数据文件添加文件头。文件头为添加在文件中的首行或者开头若干行信息,帮助识别和区分文件内容。 文件头 仅当“是否添加文件头”选择“是”时需要配置。
API调用认证开发(APP认证) 开发准备 APP认证工作原理 Java SDK使用说明 Go SDK使用说明 Python SDK使用说明 C# SDK使用说明 JavaScript SDK使用说明 PHP SDK使用说明 C++ SDK使用说明 C SDK使用说明 Android
首先需要将MRS的IP全部绑定EIP,然后在MRS配置文件中的私网IP全部替换成EIP,再到hdfs-site.xml文件中添加一个配置项“dfs.client.use.datanode.hostname”,值设为“true”。 父主题: 数据集成普通任务
其中,log目录用于存储Filebeat收集到的日志数据以及其它元数据信息,即使容器Filebeat被删除并重新启动,会继续读取该目录中的内容(如registry),并在收集数据时更新该目录,这样可确保Filebeat只收集新的日志数据,避免将已经发送过的数据再次发送。 执行以下命令为log目录配置权限。
导出Topic”,导出Topic文件到本地。 导出所有Topic:单击“导出所有Topic”,导出Topic文件到本地。 在导出Topic弹窗中选择要导出文件的格式,然后单击“导出”,导出Topic文件到本地。 当前支持导出xlsx、xls和csv格式文件。若Topic数据中含有英文逗号(,)
导入产品前,请确保产品的配额满足需求。 导入文件格式为csv,并需要使用UTF-8 BOM编码。 在使用导出的文件导入产品时: 如果要新增产品,则需要另外新建导入文件,并在新建的文件中添加新的产品信息。 产品导入文件中表头的名称和顺序固定不能更改,表头名称请参考产品导入文件说明。 确认导入文件是否从老版本实例
配置API授权(可选) 概述 若函数API使用了APP认证方式,则需要配置调用授权,把API授权给指定集成应用。用户调用API时,使用集成应用的Key和Secret进行API请求的安全认证。 前提条件 API的安全认证方式为“APP认证”。 API已发布到环境,否则请先发布API。
导致无法消费消息。 Topic分区设置不合理,或新增分区无消费者消费。 Topic频繁重平衡导致消费效率降低。 实施步骤 从消息堆积的原因看,消息堆积问题可以从消费者端、生产者端和服务端三个方面进行处理。 消费者端 根据实际业务需求,合理增加消费者个数(消费并发度),建议消费者数量和分区数保持一致。
定时:指数据集成任务根据任务计划,在指定的时间执行任务,将源端数据集成到目标端。 实时:指数据集成任务不断检测源端数据的变更,并实时将新增的数据集成到目标端。 不同数据源所支持的数据集成模式有所不同,具体请参考表1。 是否解析 选择是否透传数据。透传,即透明传输(pass-thro
String 插件定义内容,支持json。参考提供的具体模型定义 CorsPluginContent:跨域资源共享 定义内容 SetRespHeadersContent:HTTP响应头管理 定义内容 KafkaLogContent:Kafka日志推送 定义内容 BreakerContent:断路器
的场景。 数据加密传输 SASL_SSL 选择是否开启消息传输的SASL认证和SSL加密,建议您开启SASL认证和SSL加密,提高数据传输的安全性。 数据加密传输 SASL_SSL一旦开启后将无法修改,请根据实际业务需要选择是否启用。 VPC内网明文访问 仅当“数据加密传输 SASL_SSL”开启时可配置。
收藏模型数据 概述 可以通过分组的方式将相似数据信息收藏到“我的空间”,方便查看使用。 前提条件 已完成采集技术模型和录入业务模型。 操作步骤 登录ROMA Connect,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“应用业务模型ABM > 我的空间”。
ds_id String 数据源编号,当api_type = data时,必选 ds_name String 数据源名称 ds_type String 数据源类型: oracle:oracle数据源类型 mysql:mysql数据源类型 mongodb:mongodb数据源类型 redis:redis数据源类型