检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 域名 填写DataArts Studio云服务的域名地址。 项目ID 填写DataArts Studio云服务实例的projectId。 实例ID 填写DataArts Studio云服务实例的instanceId。
xml”、“hdfs-site.xml”文件。 生成MRS Hive配置文件。 将上述获取到的文件放到一个新的目录下,并打包成zip文件,所有文件位于zip文件的根目录下。 文件名只能由英文字母或数字组成,长度不超过255个字符。 文件大小不超过2MB。 父主题: 获取数据源配置文件
assignment_strategy String 分区分配策略。 表5 MemberEntity 参数 参数类型 描述 host String 消费组consumer地址。 assignment Array of AssignmentEntity objects consumer分配到的分区信息。 member_id
分支判断 “分支判断”处理器用于创建条件分支,以决定后续节点的执行逻辑。用户需要在“分支判断”节点与其后续相邻节点的连线上配置各分支的条件。 约束与限制 一个“分支判断”节点中,如果存在多个相同的“满足当前条件时”类型的表达式,最终将执行最先创建的分支上的步骤。 一个“分支判断”
数据转换 “数据转换”连接器用于数据流的格式转换,当前支持XML转JSON和JSON转XML。 配置参数 参数 说明 转换模式 选择数据转换的模式,可选择“XML转JSON”和“JSON转XML”。 内容 通过脚本编写需要转换的数据。 可通过变量的方式引用前序步骤中的数据,请参考引用变量。
数据拆分 “数据拆分”组件将传入该节点的数据按照指定的表达式进行拆分,并将拆分的结果通过节点变量传递给后续节点。通常“数据拆分”组件后续会连接“数据筛选”组件以配合使用。 “数据拆分”为异步处理组件,如果一个任务中存在“数据拆分”节点,最终开放的API将返回传入“数据拆分”节点时的数据。
日志采集 “日志采集”处理器用于自定义日志信息,并显示在当前任务的运行日志中(日志级别为Debug)。 配置参数 参数 说明 日志信息 设置日志内容,可使用常量,也可通过变量的方式引用前序步骤中的数据,具体请参考引用变量。 父主题: 处理器
异常监控 “异常监控”处理器用于对指定流程进行监控,捕获发生的异常并根据配置的参数进行重试和异常处理操作。 配置参数 参数 说明 错误类型 捕获异常类型。“运行异常”包含当前所有服务异常。 包含错误信息 捕获异常包含错误信息。只有当捕获的异常信息中包含指定错误信息时,会进行异常处理步骤。
变量修改 “变量修改”处理器用于修改前置“变量赋值”节点创建的变量的值。一个“变量修改”节点中可以更新多个变量。 配置参数 参数 说明 选择变量 选择前置“变量赋值”处理器中创建的变量。 变量值 填写修改后的变量值。变量值可以是一个常量,如“hello world”,也可以使用表达式引用前序步骤的变量,例如
XML校验 “XML校验”处理器用于对XML格式数据处理时,进行内容校验与处理。如校验正确在系统日志中没有错误信息,校验失败系统日志中会打印异常信息,并结束流任务的运行。 配置参数 参数 说明 XML 待校验的xml数据,文本输入大小限制10万字符。 XML Schemas Definition
方便,但灵活性较低。 函数API:通过编写JavaScript脚本方式,读取数据库中的数据。ROMA Connect提供了用于读取数据库数据的Java类DataSourceClient,在读取数据后可以通过JavaScript脚本对数据进行编排适配。操作较复杂,但灵活性更高。 父主题:
最小长度:1 最大长度:64 target_datasource_id 是 String 目标端数据源ID。 最小长度:1 最大长度:64 description 否 String 描述信息。 最小长度:1 最大长度:1024 task_tag 否 String 任务标签,只能包含字母、数字、中划线、下划线。
sync_replication 否 Boolean 是否开启同步复制。 sync_message_flush 否 Boolean 是否使用同步落盘。 description 否 String 描述。 sensitive_word 否 String 敏感字段。 new_partition_numbers
property_name String 属性名称,首位必须为字母,支持大小写字母、数字、中划线及下划线,长度2-50。 最小长度:2 最大长度:50 description String 属性描述,长度0-200。 最小长度:0 最大长度:200 data_type String 属性数据类型,boo
非对称加解密 “非对称加解密”处理器用于使用指定的非对称加密算法对明文进行加密、对密文进行解密操作。 配置参数 参数 说明 私钥 解密时必填,base64编码。 公钥 加密时必填,base64编码。 操作 当前支持非对称加密、非对称解密。 加密算法 加密算法,当前支持RSA。 明文
问卷星 问卷星连接器用于实现在工作流中通过配置操作问卷星相关功能。 问卷星是一个专业的在线问卷调查、考试、测评和投票平台,专注于为用户提供功能强大、人性化的在线设计问卷、采集数据、自定义报表、调查结果分析等系列服务。 创建问卷星连接 登录新版ROMA Connect控制台。 在左
数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 域名 填写COMPOSE服务的域名地址。 项目ID 填写COMPOSE服务实例的projectId。 实例ID 填写COMPOSE服务实例的instanceId。 部署区域 填
Github Github连接器用于连接GitHub平台。 GitHub是一个面向开源及私有软件项目的托管平台,主要用于版本控制和协同开发。它提供了基于Git版本控制系统的代码托管服务,除了基本的代码仓库管理外,还提供了诸如wiki、issue tracker、代码审查等功能。 创建Github连接
用绿色通道 缺省值:NORMAL auth_whitelist 否 Array of strings 绿色通道授权白名单。 允许白名单中的IP不使用认证信息访问,auth_tunnel = GREEN时生效 auth_blacklist 否 Array of strings 绿色通道授权黑名单。
property_name String 属性名称,首位必须为字母,支持大小写字母、数字、中划线及下划线,长度2-50。 最小长度:2 最大长度:50 description String 属性描述,长度0-200。 最小长度:0 最大长度:200 data_type String 属性数据类型,boo