检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
PostgreSQL与DWS字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。 字段类型映射规则 当源端为PostgreSQL，目的端为DWS时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 表1 PostgreSQL
一个数据集成集群运行在一个弹性云服务器之上，用户可以在集群中创建数据迁移作业，在云上和云下的同构/异构数据源之间批量迁移数据。 数据源 即数据的来源，本质是讲存储或处理数据的媒介，比如：关系型数据库、数据仓库、数据湖等。每一种数据源不同，其数据的存储、传输、处理和应用的模式、场景、技术和工具也不相同。
手动填写IP时请根据场景和顺序填写，多个IP之间使用","分隔。例如: 127.0.0.1或127.0.0.1,127.0.0.2,127.0.0.3。 填写单个IP，IP应为MRS集群管理面的浮动IP。 填写3个IP时，应填写MRS集群业务面的主节点IP、备节点IP和MRS集群管理面的浮动IP。
如果当前区域下有多个DataArts Studio实例，则默认进入实例列表。请单击所需实例卡片上的“进入控制台”，进入DataArts Studio控制台首页。 图1 实例列表 如果当前区域下仅有一个DataArts Studio实例，则默认进入DataArts Studio控制台首页。 DataArts
MongoDB连接迁移失败时如何处理？ 问题描述 MongoDB连接迁移失败时如何处理？ 解决方案 在默认情况下，userAdmin角色只具备对角色和用户的管理，不具备对库的读和写权限。 当用户选择MongoDB连接迁移失败时，用户需查看MongoDB连接中用户的权限信息，确保对指定库具备ReadWrite权限。
数仓规划 数仓规划，目前系统默认的数仓分层包含SDI、DWI、DWR、DM（Data Mart）等4层，支持用户自定义数仓分层。数仓规划对数仓分层以及数仓模型进行统一管理。 关系建模下包含SDI层和DWI层两层模型，物理模型归属于两层模型之一。 SDI：Source Data I
说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mysql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的MySQL数据库实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。
本章节主要介绍环境变量的配置和使用。 使用场景 配置作业参数，当某参数隶属于多个作业，可将此参数提取出来作为环境变量，环境变量支持导入和导出。 简单模式和企业模式下，配置工作空间的环境变量的角色有所不同： 简单模式：工作空间的环境变量开发者和管理员都能创建或编辑环境变量。简单模式不区分开发和生产环境，环境变量是共用的，允许开发者修改。
对于MRS非安全集群，由于Ranger组件默认同步unix用户，不会同步FI Manager上的用户/用户组/角色，因此需要切换用户同步策略。操作步骤如下所示： MRS安全集群Ranger组件默认同步LDAP用户，默认情况下无需额外操作。如果默认配置被修改，也可以参考本章节切换用户同步策略。
单击密级列表右上方“默认密级”，在选择框中选择一个密级作为默认密级。 配置默认密级后，MRS Hive和DWS数据源中所有未被标记密级的数据表和字段（包括存量和增量数据）将被标记为默认密级，默认密级支持在数据地图组件中进行展示，并支持通过管控敏感数据进行数据预览时的权限管控。 权限
所示。 高级属性里的参数为可选参数，默认隐藏，单击界面上的“显示高级属性”后显示。 表1 OBS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 桶名 写入数据的OBS桶名。 bucket_2 写入目录 写入数据到OBS服务器的目录，目录前面不加“/”。 该参数
创建新HBase表时采用的压缩算法，支持SNAPPY和GZ算法，默认为“NONE”。 toJobConfig.writeToWAL 否 Boolean 选择是否开启HBase的预写日志机制（WAL，Write Ahead Log）。 是：开启后如果出现HBase服务器宕机，则可以从WAL中回放执行之前没有完成的操作。
POSTGRESQL DWS DDM SAP HANA linkConfig.host 是 String 数据库服务器地址。 linkConfig.port 是 String 数据库服务器的端口号。 linkConfig.databaseconfig 否 枚举 创建Oracle连接时才有该参数，选择Oracle数据库连接类型：
APIG服务：在使用数据服务共享版发布API到API网关共享版后，如果调用API，则会产生API网关的调用API费用和流量费用，收费标准请参见APIG价格详情。 EIP服务：如果您为数据集成集群或数据服务专享版集群开通了公网IP，则会产生弹性公网IP服务费用，收费标准请参见EIP价格详情。 SMN服务：如果您在使用DataArts
手动填写IP时请根据场景和顺序填写，多个IP之间使用","分隔。例如: 127.0.0.1或127.0.0.1,127.0.0.2,127.0.0.3。 填写单个IP，IP应为MRS集群管理面的浮动IP。 填写3个IP时，应填写MRS集群业务面的主节点IP、备节点IP和MRS集群管理面的浮动IP。
MySQL与MRS Hudi字段类型映射 Migration会根据源端的字段类型按默认规则转换成目的端字段类型，并以此完成自动建表和实时同步。 字段类型映射规则 当源端为MySQL，目的端为Hudi时，支持的字段类型请参见下表，以确保数据完整同步到目的端。 表1 MySQL > Hudi支持的字段类型
助您统一配置和运维多个账号下的资源，有助于提升资源的管控效率，降低运维成本。如何共享VPC子网，请参考《共享VPC》。 子网 安全组 IPv6双栈支持 开启IPv6双栈后，集群内网IP支持IPv4和IPv6，可通过IPv4或IPv6内网地址访问集群。 说明： 开启IPv6双栈后，
对Hudi建表设置预聚合键，当两个记录拥有相同的主键时，保留precombine字段值较大的记录。 说明： 如果没有时间字段，可以设置和主键一样的字段，当遇到主键冲突时，保留最新的记录。 ts Hudi表分区字段 对Hudi建表设置分区字段，多个值以逗号隔开。 - Hudi表压缩策略（是否开启写入压缩）
查询服务目录API列表。 2400 120 网关管理接口 表7 网关管理接口 API 说明 API流量限制（次/10s） 用户流量限制（次/10s） 获取网关实例(专享版) 获取网关实例(专享版)。 2400 120 获取网关分组 获取网关分组。 2400 120 应用管理接口 表8
自动血缘解析 自动血缘解析无需进行手动配置，当数据开发作业中包含如表1所示节点及场景时，系统支持自动解析血缘关系。 解析SQL节点的血缘时，支持多SQL解析及列级血缘解析，单条SQL语句不支持SQL中含有分号的场景。 表1 支持自动血缘解析的作业节点及场景 作业节点 支持场景 DLI SQL
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
