检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集成任务创建后,您可以查看任务的相关信息,包括任务的配置信息、运行日志、操作日志和调度日志等。 您也可以修改任务的配置,修改任务的操作跟创建任务类似,具体配置说明可参见创建数据集成任务。 请谨慎修改您的任务配置信息,避免目标端出现脏数据或者数据集成不完整,特别是修改源端与目标端信息,会导致数据集成方案有变化。
建一个对应的前端API,并发布到环境上。 API发布完成后,自动跳转到对应前端API的API运行页面。 表3 发布后端 参数 配置说明 所属分组 选择前端API所属的API分组。若没有可用的API分组,可单击右侧的“创建分组”,创建一个API分组。 发布环境 选择默认的“RELEASE”环境
本节主要提供数据集成任务映射规则的配置说明。可以通过配置ROMA Connect源端数据字段到目标端数据字段的映射规则,把获取到的源端数据转换成写入目标端的数据。规则映射有映射模式和脚本模式两种模式,其中映射模式包含自动配置和手动配置两种方式。 约束与限制 源端与目标端字段名请勿使用对应数据库的关键字,否则可能导致任务运行异常。
根据数据源类型的不同,数据源的接入配置有所差异。 前提条件 在接入数据源前,请确保ROMA Connect实例与您的数据源所在网络互通。 若ROMA Connect实例与数据源在相同VPC内时,可直接访问数据源。 若ROMA Connect实例与数据源在同一区域的不同VPC内时,
编排任务,通过可视化UI界面来创建任务,以降低不同经验背景用户的开发门槛。编排任务主要支持以下功能: 通过一个处理器节点实现一个数据源到N个目标端的采集,能够完成1:N场景的数据采集。 任务配置采用拖拽节点的方式实现参数配置,简化流程。 编排模式的数据转换模式分为映射模式和脚本模式。JavaSc
FDI任务只能采集单张表到单张表吗? 用户创建的FDI任务,同一账号的其他用户可见吗? FDI通过公网对接其他租户的MRS HIVE如何配置? 从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? MRS Hive
Kafka数据源连接失败 原因分析 连接地址填写的是MQS内网地址,且MQS同时开启了SSL与VPC内网明文访问时,“是否SSL”选择了“是”。 解决方案 修改“是否SSL”为“否”。 如果排除以上问题后,仍然连接失败,可参考数据源连接测试失败排查操作进行问题排查。 父主题: 数据源
max_cpu_time 允许函数API中执行的CPU时间占用的最高时长。单位:毫秒。 60000 ms 1-1000000 ms max_memory 允许函数API中执行的内存大小。单位:字节。 256 M 1-9536 M livedata_env 自定义后端的运行模式,设置为online时
Connect支持的数据源类型无法接入您使用的数据源,您可以自行开发一个数据源插件,用于实现对数据源的读写。 同时,这个数据源插件以标准RESTful接口形式供ROMA Connect接入,最终实现ROMA Connect对数据源的读写。 这个数据源插件称为连接器,这类通过连接器接入的数据源称为自定义数据源。
标准中文名称 自定义此数据标准的中文名称。 标准英文名称 自定义此数据标准的英文名称。 数据标准编码 自定义此数据标准的编码。 业务定义及用途 填写此数据标准的业务定义及用途信息。 业务规则 填写此数据标准的业务规则信息。 是否允许有值 此数据标准关联的数据是否有值 允许值范围 若
前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。
对权限最小化的安全管控要求。 如果您要允许或是禁止某个接口的操作权限,请使用策略。 账号具备所有接口的调用权限,如果使用账号下的IAM用户发起API请求时,该IAM用户必须具备调用该接口所需的权限,否则,API请求将调用失败。每个接口所需要的权限,与各个接口所对应的授权项相对应,
任务监控管理 查询任务监控信息列表 查询单个任务的日志详情 查询单次调度日志详情 查询指定任务的调度信息总览 父主题: 数据集成API
“/”之间的部分。 请求路径中包含Path参数时,必须配置对应的入参定义。 请求路径中的内容区分大小写。 匹配模式 选择API请求路径的匹配模式。 绝对匹配:API请求中的请求路径要与“请求Path”的配置一致。 前缀匹配:API请求中的请求路径要以“请求Path”的配置为前缀。
OpenAPI接口 导出API 导入API 导出自定义后端API 导入自定义后端API 父主题: 服务集成API
参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层
Connect对用户资源实现了严格的权限管理,在同一实例内,非管理员权限(Tenant Administrator权限)的IAM用户只能查看和管理自己创建的集成应用和资源,默认不能查看其他IAM用户创建的集成应用和资源。ROMA Connect支持通过集成应用授权的方式,把集成应用下的资源共享给同一账号下的其他IAM用户来查看和使用。
最小化的安全管控要求。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对ROMA Connect服务,管理员能够控制IAM用户仅能对实例内的资源进行
策略名称 填写访问控制策略的名称,根据规划自定义。建议您按照一定的命名规则填写访问控制策略名称,方便您快速识别和查找。 类型 选择访问控制策略的限制类型。 IP地址:限制可调用API的IP地址。 账号名:仅适用IAM认证类型的API,限制可用于调用API的账号。 仅支持配置账号名,
参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层