检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前缀，作业将自动移除前缀并传入底层Kafka客户端，具体参数可参考Apache Kafka官方文档中的配置说明。 配置目的端参数。 图6 目的端OBS配置 文件存储格式 写入OBS的文件格式，当前支持Parquet、SequenceFile和TextFile。
DWS数据连接开启SSL时测试连接失败怎么办？ 可能原因 可能是由于DWS集群的三权分立功能导致的。 解决方案 请在DWS控制台，单击进入对应的DWS集群后，选择“安全设置”，然后关闭三权分立功能。 图1 关闭DWS集群三权分立功能 父主题： 管理中心
源数据库如果开启客户端配置中的“强制协议加密（Force Protocol Encrypton）”，必须同时开启“信任服务器证书（trust server certificate）”，如下图所示： 图2 查看客户端属性 使用限制 通用： 实时同步过程中，不支持IP、端口、账号、密码修改
前缀，作业将自动移除前缀并传入底层Kafka客户端，具体参数可参考Apache Kafka官方文档中的配置说明。 高级配置 支持在作业“任务配置”中添加自定义属性来开启部分高级功能，参数详情可参考MySQL->Kafka高级参数一览表。
为什么会提示每日执行节点个数超过上限，应该怎么处理？ 每日执行节点个数即DataArts Studio不同实例版本中的作业节点调度次数/天配额，各版本配额差异可参见如何选择DataArts Studio版本。 可能原因 当每日作业节点调度的已使用次数+运行中次数+本日将运行次数之和达到配额时
配置数据服务审核中心 数据服务平台的审核中心，提供给API开放方和API调用方用以审核API的发布等操作。 在发布API时，会触发审核，审核机制如下： 当发布人不具备审核人权限时，发布API时需要提交给审核人审核。 当发布人具备审核人权限时，可无需审批直接发布API。 待审核的API
MySQL与MRS Hudi字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。 字段类型映射规则 当源端为MySQL，目的端为Hudi时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 表1 MySQL > Hudi
Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景
PostgreSQL与DWS字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。 字段类型映射规则 当源端为PostgreSQL，目的端为DWS时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 表1 PostgreSQL
支持的数据类型 配置字段映射时，数据源支持的数据类型请参见表1，以确保数据完整导入到目的端。 表1 支持的数据类型 数据连接类型 数据类型说明 MySQL 请参见MySQL数据库迁移时支持的数据类型。 SQL Server 请参见SQL Server数据库迁移时支持的数据类型。 Oracle
Flink Jar作业开发指导 本指导提供用户端到端的开发一个Flink Jar作业的整体流程，帮助用户快速的创建一个Flink Jar作业并进行调度。 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio
产品功能 数据集成：多种方式异构数据源高效接入 数据集成提供30+同构/异构数据源之间数据集成的功能，帮助您实现数据自由流动。支持自建和云上的文件系统，关系数据库，数据仓库，NoSQL，大数据云服务，对象存储等数据源。 数据集成基于分布式计算框架，利用并行化处理技术，支持用户稳定高效地对海量数据进行移动
性能调优概述 实时处理集成作业各链路如果出现时延持续增长、反压持续处于高位或同步速率过慢（查看作业监控指标速率不符合实时集成作业提供的性能规格）等情况，需要考虑以下几点： 目的端写入过慢。 源端抽取过慢。 其他问题（请联系技术支持人员协助解决）。 因为目的端写入过慢会影响至源端，导致源端抽取速度下降
同步MRS Hive和Hetu权限 在MRS Hetu对接MRS hive数据源并使用Ranger权限管控的场景下，通过Hetu访问同集群的Hive数据源，会统一使用Hetu端的Ranger权限做鉴权，而不受Hive端的Ranger权限管控。 为了避免该场景下需要在Hetu端重复配置
操作历史 通过操作历史可以查看数据开发的历史操作数据。系统最多保存最近三个月的历史数据，同时会自动清理三个月之前的更老的数据记录。 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的
迁移文件时加解密 在迁移文件到文件系统时，CDM支持对文件加解密，目前支持以下加密方式： AES-256-GCM加密 KMS加密 AES-256-GCM加密 目前只支持AES-256-GCM（NoPadding）。该加密算法在目的端为加密，在源端为解密，支持的源端与目的端数据源如下
迁移文件时加解密 在迁移文件到文件系统时，CDM支持对文件加解密，目前支持以下加密方式： AES-256-GCM加密 KMS加密 AES-256-GCM加密 目前只支持AES-256-GCM（NoPadding）。该加密算法在目的端为加密，在源端为解密，支持的源端与目的端数据源如下
调度作业 对已编排好的作业设置调度方式。 如果您的作业是批处理作业，您可以配置作业级别的调度任务，即以作业为一个整体进行调度，支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见配置作业调度任务（批处理作业）。 如果您的作业是实时处理作业，您可以配置节点级别的调度任务，即每一个节点可以独立调度
该逻辑模型是从第三方系统Power Designer导出来的。 导入的LDM模型支持的版本：16.x 单击逻辑实体列表上方“导入”中的“导入LDM”。在“导入表”对话框中，选择“导入配置”页签。 图13 导入LDM 选择是否更新已有数据。
Hadoop类型的数据源进行数据迁移时，建议使用的组件版本有哪些？ 建议使用的组件版本既可以作为目的端使用，也可以作为源端使用。 表1 建议使用的组件版本 Hadoop类型 组件 说明 MRS/Apache/FusionInsight HD Hive 暂不支持2.x版本，建议使用的版本
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
