云服务器内容精选

  • 可视化配置(可选) DataArts Insight提供的数据集的可视化配置功能,帮助您更加便捷地配置数据集字段,提供了多种参数设置,包括字段名称、字段类型、默认聚合方式、数值展示格式、字段描述、是否允许搜索以及分析优先级等。 单击“可视化配置”,进入可视化配置页面。 选择需要修改的字段,并按需编辑字段,参数说明如表2所示。 单击可批量配置字段,当前支持批量转换为维度或度量,支持批量设置隐藏、取消隐藏,支持批量删除字段。 图3 可视化配置页面 表2 可视化配置参数说明 参数名称 说明 字段名称|物理字段 字段名称,在该页面支持自定义,字段名称会显示在仪表板和大屏制作的图表中。 物理字段不支持修改。 字段类型 字段支持的类型,包括日期、文本、数字。其中日期支持多种格式设置。 默认聚合 维度字段不支持设置,仅度量字段支持设置聚合方式。 支持以下设置:无聚合、求和、平均值、计数、去重计数、最大值、最小值、总体标准差、样本标准差、总体标方差、样本方差、区间起始值、区间结束值。 说明: 区间起始值、区间结束值只支持单项设置,不支持同时设置。 数值展示格式 无格式、数值、货币、对象量词、长度、重量、能量、容量、时间、百分比。 字段描述 对字段的相关信息的描述。 允许搜索 是否允许搜索枚举值,用于标记字段的枚举值在训练时是否允许被搜索,当前仅能提取最多1000个枚举值。 说明: 仅支持文本类型。 分析优先级 用于确定智能分析助手中的自动见解功能从数据集选用字段分析时的优先级,最多支持配置10个高分析优先级字段。 操作 支持对字段的删除和隐藏,此处可对已隐藏的字段进行取消隐藏。 说明: 删除数据集中的字段时要检查该字段是否在大屏、报表和权限配置中有使用。
  • 字段配置 通过字段配置,您可以按需配置数据集的字段信息,包括编辑、克隆隐藏、复制为指标、转化为维度/度量、默认聚合方式、数值展示格式、删除等操作。 预览数据表时只支持预览前100条数据,数据不足100条则显示全部数据。 当字段被用于计算字段、分组维度、过滤条件中,不支持修改字段类型、维度或度量转换、删除。 暂不支持复制日期字段,您可以将日期字段转成文本类型后,再复制字段。 进入字段配置的页面,字段配置的入口如下所示: 在字段列表区,单击字段后的配置字段。 在数据预览区,单击字段后的配置字段。 图2 配置字段 填入字段配置的参数,参数说明如表1所示。 表1 配置项说明 功能名 说明 编辑 对字段的名称和描述内容进行编辑。 字段原名:可对字段原名进行编辑,输入不能为空,且名称只能由中英文、数字、英文括号、斜杠(/)、反斜杠(\)、下划线(_)及中划线(-)组成且不超过512个字符。 物理字段:物理表对应的字段名,不支持修改。 字段描述:补充字段描述信息。 绑定条件:当且仅当用户使用这个维度时,才会应用此维度的绑定条件。编辑条件请参见添加条件。 默认筛选:设置默认筛选器。编辑条件请参见添加条件。 默认过滤器规则:如果对某个字段配置了默认过滤器,如 省份 =“上海”。 如果报表或者问答中未出现关于省份字段的过滤器,则最终的过滤器条件会追加省份 =“上海”字段。 如果报表或者问答中出现了关于省份字段的过滤器,则最终的过滤器条件会忽略省份 =“上海”字段。 添加条件:单击“添加条件”。 选择筛选字段、筛选方式、固定值筛选条件和取值。 筛选字段:筛选需要设置规则的数据集的字段,支持筛选维度和度量字段,不支持多选,如需对其他字段配置规则请重复添加条件。 筛选方式:支持“条件筛选”、“枚举筛选”、“表达式筛选”。 说明: 只有维度支持枚举值筛选方式。 固定值条件:条件筛选时需要选择固定值条件,例如等于、不等于、大于、大于等于、小于、小于等于等规则。 固定值:输入筛选条件的取值,如果是枚举筛选,在下拉框中勾选字段值。 如需继续为其他字段设置规则,可单击“添加规则”。 多条件规则时,需要设置规则的关系: 且:用户可查看同时满足规则A和规则B的字段值、即规则A和规则B的交集。 或:用户可以查看满足规则A或规则B的字段值、即规则A和规则B的并集。 如需添加与规则A和规则B并列的规则,可以单击“添加关系”。即新建了规则组C。规则组C与规则A和规则B同一级别。 克隆 该功能用于快速复制某字段,生成的新字段会带上副本标识。 单击数据预览页面下需要修改字段右侧的,在弹出页面单击“克隆”。 单击克隆之后生成的新字段会带上副本标识。且字段的物理字段名不会发生变化字段原名会发生变化。 例如product_name,克隆后字段为product_name1。 隐藏 将字段进行隐藏。 隐藏字段后,使用这个数据集制作仪表板、大屏等时,不会出现这个字段。 默认聚合方式 包含无聚合、求和、平均值、计数、去重计数、最大值、最小值、总体标准差、样本标准差、总体方差、样本方差、区间起始值、区间结束值。 说明: 区间起始值、区间结束值只支持单项设置,不支持同时设置。 数值展示格式 无格式、数值、货币、对象量词、长度、重量、能量、容量、时间、百分比。 转换为度量/转换为维度 将字段的类型进行转换,支持维度和度量的相互转换。 维度类型转换 可将字段维度或度量的类型转换成其他类型,支持转换为数字、日期、文本。且日期字段支持配置数据格式。 说明: 日期增加了秒和毫秒的时间戳。 维度支持时间戳格式转换时间。 移动到 此功能在新建层次结构/数据集为表格视图时才可使用,请参见新建层次结构。 删除 删除字段。 删除字段后,当您需要找回该字段时,可以单击画布中的表,在右侧面板中选择并添加该字段即可。
  • 后续操作 如果系统表结构发生了变化或者有表级别调整,则需要重新开启CDC配置,配置步骤如下: 先关闭CDC配置,请根据实际情况填写schema和name。 EXEC sys.sp_cdc_disable_table @source_schema = N'dbo', @source_name = 'baris', @capture_instance ='all' 重新开启CDC配置,请根据实际情况填写schema和name。 开启表级别配置。 IF EXISTS(SELECT 1 FROM sys.tables WHERE name='baris' AND is_tracked_by_cdc = 0) BEGIN EXEC sys.sp_cdc_enable_table @source_schema = 'dbo', -- source_schema @source_name = 'baris', -- table_name @capture_instance = NULL, -- capture_instance @supports_net_changes = 1, -- supports_net_changes @role_name = NULL -- role_name END
  • 修改SQL代码 根据分析场景的改变,存在需要对SQL代码进行修改。 登录智能数据洞察控制台。 单击管理控制台左上角的,选择区域。 单击左下角的企业项目选择企业项目。 选择项目,单击项目名称进入项目。 在项目中选择数据集。 在数据集列表选择由自定义SQL创建的数据集,单击操作列的“编辑”进入数据编辑页面。 由自定义SQL创建的数据集,在数据集页面名称列,数据集名称后会有“SQL”字样。 单击“SQL编辑”,在SQL编辑页可以对SQL语句进行编辑修改。 SQL编辑器提供了格式化工具,可以对您输入的SQL语句格式化。 支持设置SQL参数,参数说明请参考设置SQL参数。 图2 配置字段 单击“运行”,测试运行成功后,您可以在运行页签看到运行后的数据。 单击“完成并退出”,保存修改后的数据集。
  • 自定义数据源 返回页首 任务的“集成模式”为“定时”时,可以选择自定义数据源作为目标端数据源。 在创建任务页面中配置目标端信息。 表29 目标端自定义数据源信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择自定义数据源所属的集成应用,在接入数据源时已配置。 目标数据类型 选择具体自定义数据源类型。 数据源名称 选择接入数据源中已配置的自定义数据源。 元数据 定义写入到目标端的JSON格式数据中,每一个底层key-value型数据元素。源端有多少个字段需要集成,则目标端需要定义相同个数的元数据。 别名:对元数据的自定义名称。 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。 除了以上参数外,不同自定义数据源会定义不同的写端参数,请按照连接器原始定义规范填写。您可以在ROMA Connect控制台的“资产管理”页面中找到自定义数据源所使用的连接器,查看连接器的“写端参数定义”信息。 以一个发送邮件的自定义数据源为例,目标端为自定义数据源的配置示例如下图所示。其中receiver和title参数为连接器中定义的目标端参数,id、name和info为要写入到自定义数据源的数据字段。 图13 自定义数据源配置示例 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。
  • GaussDB (for MySQL) 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择GaussDB(for MySQL)作为目标端数据源。 在创建任务页面中配置目标端信息。 表28 目标端GaussDB(for MySQL)信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择GaussDB(for MySQL)数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“GaussDB(for MySQL)”。 数据源名称 选择接入数据源中已配置的GaussDB(for MySQL)数据源。 目标端表 选择已有的表,单击“选择表字段”,可以选择只需要集成的数据列字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段,且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数,用来标识同一批次的数据,同一批次插入的数据具有相同的批次号,表示这些数据是同一批次插入的,可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID,yyyyMMddHHmmss可能会有重复,请尽可能使用UUID以确保唯一性。 是否清空表 开启后每次调度任务会先清空目标端表。 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。
  • SQL Server 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择SQL Server作为目标端数据源。 在创建任务页面中配置目标端信息。 表27 目标端SQL Server信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择SQL Server数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“SQL Server”。 数据源名称 选择接入数据源中已配置的SQL Server数据源。 目标端表 选择已有的表,单击“选择表字段”,可以选择只需要集成的数据列字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段,且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数,用来标识同一批次的数据,同一批次插入的数据具有相同的批次号,表示这些数据是同一批次插入的,可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID,yyyyMMddHHmmss可能会有重复,请尽可能使用UUID以确保唯一性。 是否清空表 开启后每次调度任务会先清空目标端表。 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。
  • RabbitMQ 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择RabbitMQ作为目标端数据源。 在创建任务页面中配置目标端信息。 表26 目标端RabbitMQ信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择RabbitMQ数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“RabbitMQ”。 数据源名称 选择接入数据源中已配置的RabbitMQ数据源。 是否创建新队列 选择是否在源端RabbitMQ数据源创建一个新队列。 选择是,表示创建一个新队列,并把待集成数据发送到该队列。 选择否,表示把待集成数据发送到已有队列。 交换方式 选择RabbitMQ数据源中,交换器将消息转发到队列的路由方式。若“是否创建新队列”选择“是”,则选择新队列的交换方式;若“是否创建新队列”选择“否”,则选择已有目标队列一致的交换方式。 Direct:若消息的路由关键字与队列完全匹配,则消息会转发到队列。 Topic:若消息的路由关键字与队列模糊匹配,则消息会转发到队列。 Fanout:所有消息都会转发到队列。 Headers:若消息的Headers属性与队列完全匹配,则消息会转发到队列。 交换机名称 填写RabbitMQ数据源的交换器名称。若“是否创建新队列”选择“是”,则配置新队列的交换器名称;若“是否创建新队列”选择“否”,则配置已有目标队列一致的交换器名称。 路由关键字 仅当“交换方式”选择“Direct”或“Topic”时需要配置。 RabbitMQ把路由关键字作为判断条件,符合条件的消息将转发到队列。若“是否创建新队列”选择“是”,则配置新队列的路由关键字;若“是否创建新队列”选择“否”,则配置已有目标队列一致的路由关键字。 消息参数 仅当“交换方式”选择“Headers”时需要配置。 RabbitMQ把Headers作为判断条件,符合条件的消息将转发到新队列。若“是否创建新队列”选择“是”,则配置新队列的Headers键值对;若“是否创建新队列”选择“否”,则配置已有目标队列一致的Headers键值对。 队列名称 仅当“是否创建新队列”选择“是”时需要配置。 填写新队列的名称,自定义。 自动删除 当没有客户端连接队列时,队列是否自动删除。 持久化 队列中的消息是否持久化保存。 元数据 定义写入到目标端的JSON格式数据中,每一个底层key-value型数据元素。源端有多少个字段需要集成,则目标端需要定义相同个数的元数据。 别名:对元数据的自定义名称。 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。 解析路径:元数据的完整路径,具体请参见元数据解析路径配置说明。 元数据解析路径配置说明: JSON格式数据中不含数组 如以下写入目标端的JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b.c,元素d的完整路径为a.b.d,元素c和d为底层数据元素。 此场景下,元素c的解析路径需要设置为a.b.c,元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } } } JSON格式数据中含数组 如以下写入目标端的JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b[i].c,元素d的完整路径为a.b[i].d。元素c和d为底层数据元素。 此场景下,元素c的解析路径需要设置为a.b[i].c,元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 以上面JSON格式数据中不含数组的样例为例,目标端为RabbitMQ的配置示例如下图所示。 图12 RabbitMQ配置示例 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。
  • RocketMQ 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择RocketMQ作为目标端数据源。 在创建任务页面中配置目标端信息。 表25 目标端RocketMQ信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择RocketMQ数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“RocketMQ”。 数据源名称 选择接入数据源中已配置的RocketMQ数据源。 Topic 主题字符串/队列名称. 元数据 定义写入到目标端的JSON格式数据中,每一个底层key-value型数据元素。源端有多少个字段需要集成,则目标端需要定义相同个数的元数据。 别名:对元数据的自定义名称。 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。 解析路径:元数据的完整路径,具体请参见元数据解析路径配置说明。 元数据解析路径配置说明: JSON格式数据中不含数组 如以下写入目标端的JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b.c,元素d的完整路径为a.b.d,元素c和d为底层数据元素。 此场景下,元素c的解析路径需要设置为a.b.c,元素d的解析路径需设置为a.b.d。 { "a": { "b": { "c": "xx", "d": "xx" } } } JSON格式数据中含数组 如以下写入目标端的JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b[i].c,元素d的完整路径为a.b[i].d。元素c和d为底层数据元素。 此场景下,元素c的解析路径需要设置为a.b[i].c,元素d的解析路径需设置为a.b[i].d。 { "a": { "b": [{ "c": "xx", "d": "xx" }, { "c": "yy", "d": "yy" } ] } } 目标端为RocketMQ的配置示例如下图所示。 图11 RocketMQ配置示例 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。
  • Oracle 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择Oracle作为目标端数据源。 在创建任务页面中配置目标端信息。 表22 目标端Oracle信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择Oracle数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“Oracle”。 数据源名称 选择接入数据源中已配置的Oracle数据源。 目标端表 选择已有的表,单击“选择表字段”,可以选择只需要集成的数据列字段。 说明: 主键字段对应的源端字段如果为空,该条记录会默认抛弃,不会产生调度日志错误码。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段,且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数,用来标识同一批次的数据,同一批次插入的数据具有相同的批次号,表示这些数据是同一批次插入的,可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID,yyyyMMddHHmmss可能会有重复,请尽可能使用UUID以确保唯一性。 是否清空表 开启后每次调度任务会先清空目标端表。 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。
  • Redis 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择Redis作为目标端数据源。 在创建任务页面中配置目标端信息。 表24 目标端Redis信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择Redis数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“Redis”。 数据源名称 选择接入数据源中已配置的Redis数据源。 key前缀 填写Redis数据源中存储待集成数据的key名称前缀,“key前缀”+“分隔符”+“key后缀字段”组成Redis数据源中的key名称,每一行数据作为key的value存储到Redis中。具体key格式请参考key和value格式说明。 key后缀字段 选择源端数据中值不允许重复的字段作为key后缀,“key前缀”+“分隔符”+“key后缀字段”组成Redis数据源中的key名称,如此可以确保每一行数据都能被集成到Redis数据源的不同key中。 “数据类型”选择“List”、“Set”或“ZSet”时,“key后缀字段”可以为空,即只由“key前缀”生成一个key,此时所有数据行作为元素被集成到Redis数据源的同一个key中。 分隔符 仅当“key后缀字段”不为空时需要配置。 填写“key前缀”与“key后缀字段”之间的分隔符,“key前缀”+“分隔符”+“key后缀字段”组成Redis数据源中的key名称。 数据类型 选择Redis数据源中key的数据类型。支持以下类型: String List Map Set ZSet List追加方式 仅当“数据类型”选择“List”时需要配置。 选择List类型key的数据追加写入方式。 lpush:表示当前数据插入到List的头部。 rpush:表示当前数据插入到List的尾部。 sortColumn 仅当“数据类型”选择“ZSet”时需要配置。 选择使用源端哪一个数据字段进行数据元素的排序。 失效时间(秒) Redis数据源中key的失效时间,0表示永不失效。 写入格式 仅当“数据类型”选择“String”、“List”、“Set”或“ZSet”时需要配置,“数据类型”选择“Map”时默认为JSON格式。 选择待集成数据写入Redis数据源的数据格式,可选择“JSON”和“CUSTOMIZE”。 元数据 定义写入到目标端key的value格式。源端有多少个字段需要集成,则目标端需要定义相同个数的元数据。 别名:对元数据的自定义名称。 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。 若“写入格式”为“JSON”,则元数据以JSON格式在Redis数据源中作为key的value存储。若“写入格式”为“CUSTOMIZE”,则自定义目标端value的拼接格式,全部元数据与拼接前缀、拼接后缀进行拼接,并在Redis数据源中作为key的value存储。具体value格式请参考key和value格式说明。 key和value格式说明: 假设有如下源端数据,目标端信息中“key前缀”设置为“roma”,选择源数据的唯一键“aaa”字段作为“key后缀字段”,确保key名称不重复,并设置“|”作为key前缀与后缀的分隔符。 +-------+-------+ | aaa | bbb | +-------+-------+ | 1 | x | | 2 | y | | 3 | z | +-------+-------+ 若“数据类型”为“String”,“写入格式”为“JSON”,元数据配置如图9所示,则写入到Redis数据源中的key和value如下。 key value -------------------------------- roma|1 "{"bbb":"x","aaa":1}" roma|2 "{"bbb":"y","aaa":2}" roma|3 "{"bbb":"z","aaa":3}" 图9 元数据配置(JSON) 若“数据类型”为“String”,“写入格式”为“CUSTOMIZE”,元数据配置如图10所示,则写入到Redis数据源中的key和value如下。 key value ------------------------ roma|1 "bbb_x&aaa_1" roma|2 "bbb_y&aaa_2" roma|3 "bbb_z&aaa_3" 图10 元数据配置(CUSTOMIZE) 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。
  • PostgreSQL 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择PostgreSQL作为目标端数据源。 在创建任务页面中配置目标端信息。 表23 目标端PostgreSQL信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择PostgreSQL数据源所属的集成应用。 目标端数据类型 选择“PostgreSQL”。 数据源名称 选择已配置的PostgreSQL数据源。 目标端表 选择待集成数据要写入的数据表,单击“选择表字段”,可以选择只需要集成的数据列字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段,且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数,用来标识同一批次的数据,同一批次插入的数据具有相同的批次号,表示这些数据是同一批次插入的,可以用来定位或者解析回滚。 批次号格式 批次号格式支持yyyyMMddHHmmss和UUID,yyyyMMddHHmmss可能会有重复,请尽可能使用UUID以确保唯一性。 是否清空表 开启后每次调度任务会先清空目标端表。 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。
  • MRS Kafka 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择MRS Kafka作为目标端数据源。 在创建任务页面中配置目标端信息。 表20 目标端MRS Kafka信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择MRS Kafka数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“MRS Kafka”。 数据源名称 选择接入数据源中已配置的MRS Kafka数据源。 Topic名称 填写用户在MRS Kafka服务已创建的Topic名称,不可随意自定义。 Key 填写消息的Key值,表示消息存储在指定分区,可以当成有序消息队列使用。如果Key为空,则消息分布式存储在不同的消息分区。 元数据 定义写入到目标端Kafka消息的数据字段。源端有多少个字段需要集成,则目标端需要定义相同个数的元数据。 别名:对元数据的自定义名称。 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。 目标端为MRS Kafka的配置与Kafka的类似,配置示例可参考Kafka配置示例。 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。
  • OBS 返回页首 任务的“集成模式”为“定时”时,可以选择OBS作为目标端数据源。 在创建任务页面中配置目标端信息。 表21 目标端OBS信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择OBS数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“OBS”。 数据源名称 选择接入数据源中已配置的OBS数据源。 对象类型 选择写入OBS数据源的数据文件类型,当前支持“文本文件”和“二进制文件”。 编码方式 仅当“对象类型”选择“文本文件”时需要配置。 选择写入OBS数据源的数据文件编码方式,可选择“UTF-8”和“GBK”。 Path 填写数据要写入OBS数据源的数据文件所在路径。Path的值不能以斜杠(/)结尾,不能设置为OBS桶的根目录。 文件名前缀 填写文件名前缀,与“时间格式”配合使用,用于定义写入OBS数据源的文件名称。 时间格式 选择文件名中的时间格式,与“文件名前缀”配合使用,用于定义数据写入OBS数据源的文件名称。 文件类型 选择写入OBS数据源的数据文件格式,文本文件支持txt和csv格式,二进制文件支持xls和xlsx格式。 高级属性 仅当“文件类型”选择“csv”时需要配置。 选择是否配置文件的高级属性。 换行符 仅当“高级属性”选择“是”时需要配置。 填写文件内容的换行符,用于区分文件中的不同数据行。 使用包围符 仅当“高级属性”选择“是”时需要配置。 若选择“是”,则数据文件中的每个数据字段都会用双引号(")包围。若数据字段中存在与分隔符、换行符相同的符号时,可以避免字段被错误的拆分为2个字段。例如源数据中有1个数据字段aa|bb,在集成到目标数据文件时设置了|为分隔符,如果选择使用包围符,则目标数据文件中该字段为"aa|bb",不会被拆分为aa和bb两个字段。 字段分隔符 仅当“文件类型”选择“txt”或者“高级属性”选择“是”时需要配置。 填写文件内容的字段分隔符,用于区分每行数据中的不同字段。 是否添加文件头 选择是否为写入的数据文件添加文件头。文件头为添加在文件中的首行或者开头若干行信息,帮助识别和区分文件内容。 文件头 仅当“是否添加文件头”选择“是”时需要配置。 填写文件头的内容信息,多个文件头信息需要用英文逗号(,)隔开。 元数据 定义写入到目标端文件的数据字段。源端有多少个字段需要集成,则目标端需要定义相同个数的元数据。 别名:对元数据的自定义名称。 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。 支持以下类型: String: 字符串类型。 Double: 浮点数类型。 Date: 日期时间类型。 Boolean: 布尔类型。 Long: 整数类型。 若不确定具体的数据类型,可选择String类型。 目标端为OBS的配置示例如下图所示,id、name和info为要写入到OBS数据源的数据字段。 图8 OBS配置示例 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。
  • MRS HDFS 返回页首 任务的“集成模式”为“定时”或“实时”时,可以选择MRS HDFS作为目标端数据源。 在创建任务页面中配置目标端信息。 若源端数据字段中带有“\r”、“\n”和“\01”三种特殊符号,ROMA Connect会把这三种符号删除,然后再把数据写入MRS HDFS。 表18 目标端MRS HDFS信息 参数 配置说明 目标端实例 配置为当前正在使用的ROMA Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择MRS HDFS数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“MRS HDFS”。 数据源名称 选择接入数据源中已配置的MRS HDFS数据源。 分隔符 填写MRS HDFS数据源中文本数据的字段分隔符,用于区分每行数据中的不同字段。 存储子路径 在MRS HDFS的“hdfs:///hacluster”路径下,待集成数据的存储路径。 存储块大小(M) ROMA Connect向MRS HDFS数据源写入数据时,每次写入的数据大小。 存储类型 选择写入MRS HDFS数据源的数据存储类型,可选择“文本文件”。 元数据 定义写入到目标端文本数据的数据字段,不同数据字段通过“分隔符”进行分隔。源端有多少个字段需要集成,则目标端需要定义相同个数的元数据。 别名:对元数据的自定义名称。 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。 目标端为MRS HDFS的配置示例如下图所示,id、name和info为要写入到MRS HDFS数据源的数据字段。 图6 MRS HDFS配置示例 完成目标端信息配置后,继续进行下一部分配置,配置数据映射规则。