检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集成（实时作业） 实时作业概述 支持的数据源 使用前自检概览 网络打通 新建实时集成作业 配置实时集成作业 实时集成任务运维 字段类型映射关系 任务性能调优 使用教程
在DataArts Studio数据目录模块中，您可以查看数据地图。 数据地图 查看业务资产和技术资产 步骤9：服务退订 进行服务退订，避免持续产生费用。 服务退订 服务退订（可选） 父主题： 企业版：基于MRS Hive的出租车出行数据治理流程
数据开发是一个一站式的大数据协同开发平台，提供全托管的大数据调度能力。它可管理多种大数据服务，极大降低用户使用大数据的门槛，帮助您快速构建大数据处理中心。 数据开发模块曾被称为数据湖工厂（Data Lake Factory，后简称DLF）服务，因此在本文中，“数据湖工厂”、“DLF”均可用于指代“数据开发”模块。
进入CDM首页。 图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 选择集群操作列中的“更多 > 下载日志”，选择下载日志类型。 图2 下载日志类型 确认后，即可下载日志到本地。 父主题： 创建并管理CDM集群
大数据服务中，并在DataArts Studio的界面中就可以进行快速的数据开发工作，让企业数据体系的建设变得如此简单。 优势 数据集成一键式操作 通过在服务界面配置化操作，可实现线上线下数据快速集成到云数据仓库。 支持多种数仓服务类型 根据需求，可以灵活选择数据服务类型，可以选
} 连接参数 参数 是否必选 类型 说明 linkConfig.deploymentMode 是 枚举 Redis部署方式： Single：表示单机部署。 Cluster：表示集群部署。 linkConfig.serverlist 是 String 服务器地址列表，格式如：“hos
迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导
间管理员用户也可以为用户组/用户配置队列权限策略。 配置队列权限前，已在管理中心创建数据湖探索（DLI）和MapReduce服务（MRS Ranger）类型的数据连接，请参考创建DataArts Studio数据连接。 配置MRS Yarn队列权限前，需要参考同步IAM用户到数据源将IAM上的用户信息同步到数据源上。
连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 redis_link Redis部署方式 Redis部署方式： Single：表示单机部署。 Cluster：表示集群部署。 Proxy：表示通过代理部署。 Single Redis服务器列表 Redis服务器地址列表，输
MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导 自动建表原理介绍 父主题： 数据集成（CDM作业）
"mongodb-connector" } ] } 连接参数 参数 是否必选 类型 说明 linkConfig.serverList 是 String 服务器地址列表，格式如：“host1:port1;host2:port2”。 linkConfig.database
迁移到DWS时出现value too long for type character varying怎么处理？ 问题描述 在使用CDM迁移数据到数据仓库服务（DWS）或者FusionInsight LibrA时，如果迁移作业失败，且执行日志中出现“value too long for type
"name": "toJobConfig" } ] } 参数说明 参数 是否必选 类型 说明 toJobConfig.streamName 是 String DIS的通道名。 toJobConfig.separator 否 String
不勾选“拒绝所有其他访问”时显示此配置，该配置定义禁止访问的用户和用户组。 用户：MRS服务的用户。 角色：MRS服务的角色。 用户组：MRS服务的用户组。 权限：定义用户禁止的权限类型。权限和用户允许同时为空值，或者同时不为空值。服务相关权限详情请参考表1。 委托用户：当勾选此项时，管理权限将分配给
Writer中作为Key的那一列，填写后value不会记录此列。如字段列下标为0、1、2，keyIndex取值为0，则valueIndex为1、2。 keyIndex下标取值范围是从0开始的正整数，否则任务执行会报错。 - 额外配置 数据格式为JSON显示该参数。 该参数指定不同的类型的控制写入数据格式或者指定配置参数。
Studio服务的REST API SDK包和参考文档。 当前DataArts Studio服务的API Explorer接口和REST API SDK包支持如下组件： 数据集成（注册在云数据迁移CDM服务） 数据开发 管理中心 数据架构 数据质量 数据目录 数据服务 数据安全 数据集成组件的API
"hbase-connector" } ] } 连接参数 参数 是否必选 类型 说明 linkConfig.hbaseType 是 枚举 HBase类型： CloudTable：表示连接CloudTable服务。 MRS：表示连接MRS。 FusionInsight HD：表示连接FusionInsight
"name": "fromJobConfig" } ] } 参数说明 参数 是否必选 类型 说明 fromJobConfig.useSql 是 Boolean 导出关系型数据库的数据时，可以选择是否使用自定义SQL语句导出。 fromJobConfig
配置SAP HANA源端参数 表1 SAP HANA作源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。
业会运行失败。 连接云搜索服务(CSS)时，相关参数如表1所示。 表1 云搜索服务(CSS)连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 css_link Elasticsearch服务器列表 配置为一个或多个El
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
