检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置HBase/CloudTable目的端参数 作业中目的连接为HBase连接或CloudTable连接时，即导入数据到以下数据源时，目的端作业参数如表1所示。 表1 HBase/CloudTable作为目的端时的作业参数 参数名 说明 取值样例 表名 写入数据的HBase表名。
配置Redis目的端参数 当作业将数据导入到Redis时，目的端作业参数如表1所示。 表1 Redis作为目的端时的作业参数 参数名 说明 取值样例 Redis键前缀 键的前缀，类似关系型数据库的表名。 TABLE 值存储类型 仅支持以下数据格式： STRING：不带列名，如“值1，值2”形式。
配置MySQL/SQL Server/PostgreSQL目的端参数 当作业将数据导入到MySQL/SQL Server/PostgreSQL时，目的端作业参数如表1所示。 表1 MySQL、SQL Server、PostgreSQL作为目的端时的作业参数 参数类型 参数名 说明
例如，DWS数据仓库中的数据表命名需要满足以下约束：长度不超过63个字符，以字母或下划线开头，中间字符可以是字母、数字、下划线、$、#。 解决方案 重新命名。 父主题： 数据集成
配置Elasticsearch/云搜索服务（CSS）目的端参数 作业中目的连接为Elasticsearch连接参数说明或云搜索服务（CSS）连接参数说明时，即将数据导入到Elasticsearch/云搜索服务（CSS）时，目的端作业参数如表1所示。 表/文件迁移和整库迁移时需配置
源端为MySQL，目的端为DWS 本章节适用于配置实时处理集成作业的Mysql到DWS链路，期望将源端1个或多个Mysql实例的数据实时同步到目的端为DWS数据库的场景。 整库：适用于将1个源端为Mysql实例上的多个数据库表实时同步到1个目标端为DWS实例的多个库表。 分库分表
配置PostgreSQL/SQL Server源端参数 作业中源连接为从云数据库 PostgreSQL、云数据库 SQL Server、PostgreSQL、Microsoft SQL Server导出的数据时，源端作业参数如表1所示。 表1 PostgreSQL/SQL Server作为源端时的作业参数
配置MongoDB目的端参数 作业中目的连接为MongoDB连接时，目的端作业参数如表1所示。 表1 MongoDB作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 mddb 集合名称 选择待导入数据的集合，相当于关系数据库的表名。单击输入框后
数据开发概述 数据开发是一个一站式的大数据协同开发平台，提供全托管的大数据调度能力。它可管理多种大数据服务，极大降低用户使用大数据的门槛，帮助您快速构建大数据处理中心。 数据开发模块曾被称为数据湖工厂（Data Lake Factory，后简称DLF）服务，因此在本文中，“数据湖
准备工作简介 您需要完成注册华为账号、购买DataArts Studio实例、访问DataArts Studio实例控制台、管理工作空间、授权用户使用DataArts Studio等一系列准备工作，才能开始DataArts Studio的正式使用。 需要进行的准备工作如下图所示，具体操作请参考后续章节。
应用名称 应用名称，IAM应用类型固定为华为账号，且不支持修改。 应用类型 选择IAM应用类型，IAM认证方式的API只能授权给IAM类型的应用。 IAM：IAM类型应用为IAM认证方式的API进行授权。IAM类型应用为实例级别配置，应用名称固定为华为账号，每个DataArts Stu
正常：表示实例正常结束，且执行结果符合预期。 告警：表示实例正常结束，但执行结果不符合预期。 异常：表示实例未正常结束。 --：表示实例正在运行中，无执行结果。 父主题： 企业版：基于MRS Hive的出租车出行数据治理流程
type，单击汇总表名称，即可查看汇总表的详情信息。在详情页面，进入“数据预览”页签，可查看汇总表的预览数据。 图3 数据预览 父主题： 企业版：基于MRS Hive的出租车出行数据治理流程
节。 此外，您还必须确保该云服务的实例与DataArts Studio工作空间所属的企业项目必须相同，如果不同，您需要修改工作空间的企业项目。 如果使用企业模式，您还需要注意以下事项： 由于企业模式下需要区分开发环境和生产环境，因此您需要分别准备对应生产环境和开发环境的两套数据湖服务，用于隔离开发和生产环境：
更新管理 更新漏洞 DataArts Studio云服务通过华为云安全公告密切跟踪漏洞，如Apache Log4j2 远程代码执行漏洞（CVE-2021-44228）、Fastjson存在反序列化漏洞（CNVD-2022-40233）等，如发现服务模块涉及漏洞影响，会迅速通过官方解决方案升级现网更新漏洞。
源端为MySQL，目的端为MRS Hudi 本章节适用于配置实时处理集成作业MySQL到MRS Hudi链路，期望将源端1个或多个MySQL实例的数据实时同步到目的端为MRS Hudi数据库的场景。 MySql源端配置。 支持选择源端多库多表迁移。 DDL支持新增列。 Hudi目的端配置。
PostgreSQL/SQLServer连接参数说明 连接PostgreSQL/SQLServer时，相关参数如表1所示，金仓和GaussDB数据源可通过PostgreSQL连接器进行连接，支持的迁移作业的源端、目的端情况与PostgreSQL数据源一致。 作业运行中禁止修改密码
源端为PostgreSQL，目的端为DWS 本章节适用于配置实时处理集成作业的PostgreSQL到DWS链路，期望将源端1个或多个PostgreSQL实例的数据实时同步到目的端为DWS数据库的场景。 整库：适用于将1个源端为PostgreSQL实例上的多个数据库表实时同步到1个目标端为DWS实例的多个库表。
通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台，借助DLF的在线脚本编辑、周期调度CDM的迁移作业，也可以实现增量数据迁移。 这里以DWS导入到OBS为例，介绍DLF配合CDM实现增量迁移的流程： 获取CDM作业的JSON
全部 数据集成 数据开发 管理中心 数据架构 数据质量 数据目录 数据服务 数据安全 数据集成 数据集成提供30+同构/异构数据源之间数据集成的功能，帮助您实现数据自由流动。支持自建和云上的文件系统，关系数据库，数据仓库，NoSQL，大数据云服务，对象存储等数据源。 数据集成基于分布
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
