检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Oracle库需要开启归档日志，归档日志建议至少保留三天。 Oracle表没有表查询权限和日志解析权限。 解决方案 开启归档日志。 以sysdba身份登录Oracle数据库。 执行SQL命令ARCHIVE LOG LIST查询当前数据库的归档状态，如下结果为未开启日志归档。 Database log mode
配置连接参数 OBS连接参数说明 PostgreSQL/SQLServer连接参数说明 数据仓库服务（DWS）连接参数说明 云数据库MySQL/MySQL数据库连接参数说明 Oracle数据库连接参数说明 DLI连接参数说明 Hive连接参数说明 HBase连接参数说明 HDFS连接参数说明
1:7300;192.168.0.2:7301 密码 连接Redis的密码。 - Redis数据库索引 Redis分库的索引标识。 Redis的分库，相当于关系型数据库中的database。分库总数可以在Redis配置文件中设置，默认是16个，分库名称是一个整数（0～15），不是一个字符串。
目的端数据库类型 目的端参数 参数说明 取值样例 云数据库MySQL 云数据库PostgreSQL 云数据库SQL Server - 整库迁移到RDS关系数据库时，目的端作业参数请参见配置MySQL/SQL Server/PostgreSQL目的端参数。 schema DWS - 整库
RDS SQL 功能 通过RDS SQL节点传递SQL语句到RDS中执行。 参数 用户可参考表1和表2配置RDS SQL节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。
28752 / RDS（Postgresql） 4U32G（主备模式） Postgresql 13.12 128865 1351351（并发度：30） 表2 写入性能实测数据 数据源 数据源规格 版本 单并发写入速率 （行/s） 多并发写入速率 （行/s） 云数据库 MySQL 8U 32G
字段类型映射关系 MySQL与MRS Hudi字段类型映射 PostgreSQL与DWS字段类型映射 父主题： 数据集成（实时作业）
数据开发 数据开发可以创建多少个作业，作业中的节点数是否有限制？ DataArts Studio支持自定义的Python脚本吗？ 作业关联的CDM集群删除后，如何快速修复？ 作业的计划时间和开始时间相差大，是什么原因？ 相互依赖的几个作业，调度过程中某个作业执行失败，是否会影响后续作业？这时该如何处理？
根据列的分类信息，支持对预览数据根据配置脱敏策略（待下线）的设置进行实时脱敏。 数据预览支持的数据源类型：DWS、DLI、Hive、MySQL。 列的分类信息支持在新建采集任务时自动设置和在数据分类菜单中手动添加两种方式。其中仅DWS、DLI支持新建采集任务时自动设置分类。 在“变更记录”页签，查看数据表变更详情。
into/overwrite等DML操作产生的MRS表之间的血缘。 CDM Job 支持MRS Hive、DLI、DWS、RDS、OBS以及CSS之间表文件迁移所产生的血缘。 ETL Job 支持DLI、OBS、MySQL以及DWS之间的ETL任务产生的血缘。 手动配置血缘 在DataArts Studio数据
从字符串中获取指定字符串的第一个索引，没有则返回整数-1。例如从“aabaabaa”中获取“ab”的第一个索引1。 表达式：StringUtils.indexOf(value,"ab") 从字符串中获取指定字符串的最后一个索引，没有则返回整数-1。例如从“aFkyk”中获取“k”的最后一个索引4。 表达式：StringUtils
当子用户在创建作业时，子用户只能选择已经被分配的队列。 当前由于DLI的“default”队列默认Spark组件版本较低，可能会出现无法支持建表语句执行的报错，这种情况下建议您选择自建队列运行业务。如需“default”队列支持建表语句执行，可联系DLI服务客服或技术支持人员协助解决。 DLI的“default
机名或IP地址，请指定后，再重试。 Cdm.1510 400 必须指定Elasticsearch索引。 未指定Elasticsearch索引。 当前未指定Elasticsearch索引，请指定后再重试。 Cdm.1511 400 必须指定Elasticsearch类型。 未指定Elasticsearch类型。
Studio与MRS Hive数据湖的连接 新建DataArts Studio与DWS数据湖的连接 新建DataArts Studio与MySQL数据库的连接 父主题： 管理中心
当您的技术资产数量接近或达到该规格时，建议购买技术资产数量增量包，以避免资产采集受限。 包年包月 数据模型数量增量包 数据模型数量增量包用于扩充数据模型数量配额。 不同版本的DataArts Studio实例，默认提供了不同的数据模型数量规格限制。该规格是以数据架构中逻辑模型、物
支持按文件分片。 HTTP 支持按文件分片。 关系型数据库 云数据库 MySQL 支持按表字段分片。 仅当配置“按表分区抽取”时，按表分区分片。 云数据库 PostgreSQL 支持按表字段分片。 仅当配置“按表分区抽取”时，按表分区分片。 云数据库 SQL Server 支持按表字段分片。 仅
成。 数据连接 来源对象/目的对象支持的数据源类型：DWS、MRS Hive、MRS Spark、DLI、ORACLE、RDS（MySQL、PostgreSQL）、Hetu、MRS Spark（Hudi）、MRS ClickHouse、DORIS。 从下拉列表中选择已创建的数据连接。
数据集成（离线作业）的表数据迁移和数据安全敏感数据发现中的推荐识别场景下，仅支持MRS Hive、DWS、DLI和RDS MySQL数据源。 数据集成（离线作业）的表敏感数据检测对表内容格式要求如下： 表字段数量至多为500。 对于字符串类型的表字段，仅会检测前1000个字符的敏感信息，超过1000字符部分会被截断。
在排除源端负载的情况下，如果源端是MySQL/Oracle/SQLServer/PostgreSQL/GaussDB等的全量+增量作业且作业处于全量抽取阶段，或者Kafka/Hudi等数据源抽取速度慢，请优先尝试加大作业并发数，以提高作业的并发抽取速率。 MySQL/Oracle/SQLServer/Pos
单击“密钥管理服务”，左侧列表选择密钥管理。 在密钥列表可以获取到密钥名称。 表7 RDS类型的连接配置项说明 参数名 是否必选 参数类型 说明 ip 是 String RDS的访问地址。 通过RDS管理控制台获取访问地址： 登录管理控制台。 单击“关系型数据库服务”，从左侧列表选择实例管理。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
