检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
指定的模型中。 前提条件 在逆向数据库之前，请先在DataArts Studio数据目录模块中对数据库进行元数据采集，以便同步数据目录时可以同步成功，否则同步数据目录将执行失败。有关数据目录元数据采集的具体操作，请参见配置元数据采集任务。 逆向数据库导入表到模型中 在DataArts
消费者每次poll时返回的最大消息条数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 目的端优化 OBS写入优化 若开启了自动合并可尝试关闭，否则请优先增加并发解决。 父主题： 任务性能调优
记录数据迁移入库时间 CDM在创建表/文件迁移的作业，支持连接器源端为关系型数据库时，在表字段映射中使用时间宏变量增加入库时间字段，用以记录关系型数据库的入库时间等用途。 前提条件 已创建连接器源端为关系型数据库，以及目的端数据连接。 目的端数据表中已有时间日期字段或时间戳字段。如自
需要手动单击“同步”，将该策略同步到数据源中。 相关操作 同步策略：在行级访问控制页面，单击对应任务操作栏中的“同步”，即可将该策略同步到数据源中。当需要批量同步时，可以在勾选策略后，在列表上方单击“同步”。 只有处于“同步成功”状态的策略才能生效。如果策略同步失败，可通过查看
并通过自动生成元数据功能，将图数据（点数据集、边数据集和元数据）定期导入到GES服务中，在GES中对最新数据进行可视化图形分析。 场景说明 本案例基于某电影网站的用户和评分数据，使用DataArts Studio将MySQL原始数据处理为标准点数据集和边数据集，并同步到OBS和MRS
PostgreSQL数据源如何手动删除复制槽？ 问题描述 PostgreSQL数据源不会自动删除复制槽，当复制槽数达到上限时，无法执行新的作业，需要手动删除复制槽。 原因分析 PostgreSQL数据源不会自动删除复制槽。 解决方案 登录作业使用的源数据库。 查询同步任务选择的database对象所对应的流复制槽名称。
审批DWS权限申请时提示“缺少必要的请求参数”怎么办？ 可能原因 此报错一般是因为授权对象未同步到DWS数据源引起的。 解决方案 您可以通过同步用户，重新将授权对象同步到DWS数据源，然后再次尝试审批申请。 父主题： 数据安全
对于MRS非安全集群，由于Ranger组件默认同步unix用户，不会同步FI Manager上的用户/用户组/角色，因此需要切换用户同步策略。操作步骤如下所示： MRS安全集群Ranger组件默认同步LDAP用户，默认情况下无需额外操作。如果默认配置被修改，也可以参考本章节切换用户同步策略。 使用admi
最后保存并提交版本（单击），执行调度作业（单击）。实现作业每天自动运行，每日数据将自动导入到GES图中。 您如果需要及时了解作业的执行结果是成功还是失败，可以通过数据开发的运维调度界面进行查看，如图9所示。 图9 查看作业执行情况 父主题： 图数据自动化构建与分析
选择是否记录脏数据，默认不记录脏数据，当脏数据过多时，会影响同步任务的整体同步速度。 否：默认为否，不记录脏数据。 表示不允许脏数据存在。如果同步过程中产生脏数据，任务将失败退出。 是：允许脏数据，即任务产生脏数据时不影响任务执行。 允许脏数据并设置其阈值时： 若产生的脏数据在阈值范围内，同步任务将忽略脏数据（即不会写入目标端），并正常执行。
调度计划时间，作业依赖关系按照调度计划时间判断。 业务日期模式：作业配置的启动时间和补数据时间范围为业务数据日期时间，作业依赖关系按照业务日期判断。业务日期模式景下，作业实例的生效时间为业务日期。 普通模式切换为业务日期模式时，如果存在多个翻牌目录下的作业偏移量不一致，系统不会一
username/password,login denied”怎么办？ 可能原因 当前用户未同步至DWS数据源，或者不具备DWS Database Access权限。 解决方案 您可以通过同步用户重新将当前登录用户同步到DWS数据源，然后为其授予DWS Database Access权限，再次进行联通性测试。
自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM
连接配置 *选择集群 选择需要同步第三方平台动态脱敏策略的集群。 当前暂不支持同步策略到多个集群。如果希望通过多个订阅任务分别同步到多个集群，则会由于生成的策略名重复导致Kafka消息消费失败。 集群类型 无需选择，自动根据选择的集群匹配集群类型。当前仅支持同步策略到MRS集群。 数据连接
DataArts Studio的会话超时时间是多少，是否支持修改？ 会话超时时间指的是如果用户超过该时长未操作界面，会话将会失效，需要重新登录。 会话超时策略可以在IAM服务进行设置，如图所示。 会话超时策略默认开启，不能关闭，管理员可以设置会话超时的时长，会话超时时长默认为1个
业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业，源连接选择为HBase连接或CloudTable连接时，高级属性的可选参数中可以配置时间区间。 图1 HBase时间区间 起始时间（包含该值），格式为“yyyy-MM-dd HH:mm:ss”，表示只抽取该时间及以后的数据。
名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 dds_link 服务器列表 服务器地址列表，输入格式为“数据库服务器域名或IP地址：端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 数据库名称
FTP/SFTP连接适用于从线下文件服务器或ECS服务器上迁移文件到数据库。 当前仅支持Linux操作系统的FTP 服务器。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 连接FTP或SFTP服务器时，连接参数相同，如表1所示。
数据治理模块域 数据治理主要专注于如下模块域： 数据集成 数据集成用来完成数据入湖动作，不是简单的数据搬家，而是按照一定的方法论进行数据备份。数据入湖的前提条件是满足6项数据标准，包括：明确数据Owner、发布数据标准、定义数据密级、明确数据源、数据质量评估、元数据注册。此标准由
发布主题域 新建业务对象。 在主题域“行程记录”下，新建4个业务对象：原始记录、标准记录、行程事实、记录统计。 在主题域“集团”下，新建1个业务对象：供应商。 在主题域“时空”下，新建1个业务对象：时间。 在主题域“公共维度”下，新建1个业务对象：公共维度。 以在主题域“行程记录”下新
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
