检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询不合理的权限配置 功能介绍 查询不合理的权限配置。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/diagnose/unreasonable-permissions 表1 路径参数 参数 是否必选 参数类型 描述 project_id
配置Oracle目的端参数 表1 Oracle作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。
查询权限集中配置的url信息 功能介绍 查询权限集中配置的url信息，例如obs、hdfs等组件中的url路径。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/permission-sets/datasource/urls 表1
“使用SQL语句”选择“否”时，显示该参数，表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面，用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间，请确认对应连接里的账号是否有元数据查询的权限。 该参数支持配置正则表达式，实现导出满足规则的所有数据库。 SCHEMA_E
抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面，用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间，请确认对应连接里的账号是否有元数据查询的权限。 说明： 该参数支持配置通配符（*），实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如：
数据源元数据已更新 当数据连接中元数据发生变化时，通过配置更新策略，设置数据目录中元数据的更新方式。 需要注意的是配置的更新、删除策略是作用在用户配置的数据库、数据表的范围内的。 勾选“仅更新数据目录中的元数据”：采集任务仅更新数据目录已经采集到的元数据 勾选“仅添加新元数据”：采集任务仅采
清除全部数据：写入数据前会清除目标表中数据。 清除部分数据：需要配置“where条件”参数，CDM根据条件选择性删除目标表的数据。 清除部分数据 where条件 “导入开始前”参数选择为“清除部分数据”时配置，配置后导入前根据where条件删除目的表的数据。 age > 18 and age <=
ize的大小。 1000 ScrollId超时时间配置 Elasticsearch scroll查询时会记录一个scroll_id，超时或者scroll查询结束后会清除请求的srcoll_id，通过设置这个超时时间配置，来指定scroll_id超时时间。 5 父主题： 配置CDM作业源端参数
“使用SQL语句”选择“否”时，显示该参数，表示待抽取数据的模式或表空间名称。 单击输入框后面的按钮可进入模式选择界面，用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间，请确认对应连接里的账号是否有元数据查询的权限。 该参数支持配置正则表达式，实现导出满足规则的所有数据库。 SCHEMA_E
数据安全配置数据搬迁 当前暂不支持数据安全数据的导入导出，需要您手动同步各项配置数据和任务。 数据安全的配置数据，需要您按照旧空间的相关配置，手动在新空间进行重新配置。 父主题： DataArts Studio配置数据搬迁实践
into loader线程数 每个loader内部启动的线程数，可以提升写入并发数。 说明： 不支持“约束冲突处理”策略为“replace into”或“on duplicate key update”的并发场景。 1 父主题： 配置作业目的端参数
配置PostgreSQL目的端参数 表1 PostgreSQL作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。
除全部数据”，CDM的事务模式不会回滚已经删除的数据。 否 loader线程数 每个loader内部启动的线程数，可以提升写入并发数。 说明： 不支持“约束冲突处理”策略为“replace into”或“on duplicate key update”的并发场景。 1 导入前准备语句
图2 创建Spark SQL单任务作业 配置与Hudi相对应的Spark数据连接，并选中需要操作Hudi表对应的数据库。 图3 配置连接与数据库 根据实际情况配置compaction的调度周期。 图4 配置调度周期 填写Spark SQL的compaction语句，提交并运行作业。
配置SQLServer目的端参数 表1 SQL Server作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。
schema 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts
配置角色前，已完成空间权限集的配置，请参考配置空间权限集。 MRS和DWS角色同步时，系统通过管理中心组件数据连接中的用户进行账号相关的增删改查等操作，因此对数据连接中的用户有以下权限要求： MRS Ranger连接中的用户需具备Ranger组件Admin权限。 DWS连接中的数据库用户，在非三
DDL配置 配置任务属性。 表10 任务配置参数说明 参数 说明 默认值 执行内存 作业执行分配内存，跟随处理器核数变化而自动变化。 8GB 处理器核数 范围：2-32。 每增加1处理核数，则自动增加4G执行内存和1并发数。 2 并发数 作业执行支持并发数。该参数无需配置，跟随处理器核数变化而自动变化。
单击空间资源权限页面的“新建” ，在弹出的策略配置页参考表1配置相关参数，配置完成单击“保存”，策略配置完成。 表1 配置空间资源权限策略参数说明 参数名 参数描述 *策略名称 标识空间资源权限策略，为便于策略管理，建议名称中包含资源对象和授权对象。 资源对象 数据连接 选择需要授权的管理中心组件数据连
数据集成配置数据搬迁 当前管理中心支持直接搬迁数据集成组件中的CDM作业及其中的连接数据。 您可以通过管理中心配置数据搬迁进行搬迁，也可以参考本章节通过CDM组件的导入导出功能进行搬迁。 数据集成数据搬迁依赖于CDM的批量导入导出作业功能。 CDM上支持导出的数据包括配置的连接和作业，可以导出到本地保存。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
