检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
血缘采集概述 通过血缘采集，可以建立起数据元素之间的关系和依赖关系，从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知，参见下表。 文件类型 采集须知 DataArts作业 需要提前导出DataArts作业到华为云OBS桶，并将桶的读写权限委托给迁移中心。 SQL作业
创建专享版集群 创建数据服务专享集群增量包，系统会按照所选规格自动创建一个数据服务专享集群。单击工作空间“XXXX”的“数据服务”，单击左侧的“专享版”。 图1 创建专享版集群1 单击左侧的“集群”，单击“新建集群”， 进入创建增量包页面进行配置，单击“立即创建”，确认规格后提交。
创建源端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括： MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”，进
在MgC控制台左侧导航栏选择“实施 > 大数据校验”，进入大数据校验页面。在左侧导航栏的项目下拉列表中选择步骤4.创建的项目。 首次使用大数据校验功能时，需要先启用MgC Agent。单击“选择并启用迁移中心Agent”按钮，在弹窗的下拉列表中，选择与迁移中心连接成功的MgC Agent。 在进行大数据校验时，请确保MgC
开发 API 创建API 进入“数据服务>API目录”页面，单击加号，输入新建API目录名称，可新建API目录。对应已成功创建的API目录的操作列，可重新编辑API目录或者管理API。 图1 创建API1 单击“编辑”，可修改API目录名称信息。仅当API处于已创建、已驳回、已下线、已停用的情况下才能进行API修改。
资源和成本规划 该解决方案主要部署如下资源，不同产品的花费仅供参考，实际以收费账单为准，具体请参考华为云官网价格： 表1 资源和成本规格(按需计费) 华为云服务 配置示例 每月预估花费 对象存储服务 OBS并行文件系统 区域：华北-北京四 产品类型：并行文件系统 存储空间：数据存储（多AZ存储）0
数据治理平台部署 将前端上传至服务器/usr/local/web下两个前端包 yunpi-base-mgr yunpi-data-govern 将后端包上传至服务器 修改配置信息将请求后端网关地址进行修改 Vim config.js 图1 上传 /usr/usr/local/jar下修改jar服务配置文件
登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的大数据迁移项目。 在左侧导航栏选择“实施>大数据数据迁移”，进入大数据数据迁移页面。 单击页面右上角的“连接管理”按钮，进入迁移准备页面。 首次使用大数据数据迁移功能时，需要先启用MgC Agent。单击页面左上角的
项目类型选择“复杂迁移（大数据迁移）”，输入自定义项目名称，单击“创建”。 图2 创建大数据迁移项目 创建项目完成后，参考连接迁移中心，将MgC Agent与云端MgC控制台建立连接。 连接成功后，需要在MgC Agent上分别添加源端“大数据-MaxCompute”凭证和目的端“大数据-数据湖
单击“新建委托”进入IAM控制台进行创建后再在此处进行绑定。 图13 配置委托 MRS集群组件对接OBS（基于委托） 该解决方案帮您仅搭建大数据存算分离集群，具体的业务使用可参考如下： Flink对接OBS文件系统 Flume对接OBS文件系统 HDFS客户端对接OBS文件系统 Hive对接OBS文件系统
常见问题 关于服务咨询 关于服务购买 关于服务交付 父主题： 大数据上云与实施服务
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
数据指标设计 数据指标设计方法 指标是衡量目标总体特征的统计数值，是表征某一业务活动中业务状况的数值指示器。指标由指标名称和指标数值两部分组成，指标名称及其涵义体现了指标质的规定性和量的规定性两个方面的特点，指标数值反映了指标在具体时间、地点、条件下的数量表现。业务指标用于指导技
全量数据同步 针对数据增长缓慢、非核心业务相关、无时间戳、无增删改标识、数据量低于十万条的明细表数据，以及码表、维度表等数据，采用全量同步的方式接入数管平台，并存放在贴源层的全量表内。数据初始化全量同步是指第一次从业务源库中采用全量同步的方式获取一次数据。 确定数据源 通过调研获
态势感知如何收费？ 态势感知服务提供包年/包月和按需计费的计费模式。 包年/包月 购买时长越久越便宜，包周期计费按照订单的购买周期来进行结算。对于长期用户，推荐购买更实惠的包月/包年计费模式。 按需计费 按小时计费，根据实际使用时长（小时）计费。先使用后付费，使用方式灵活，可以即开即停。
数据标准设计 数据标准设计方法 针对属性字段设计数据标准，数据标准用于描述业务层面需共同遵守的属性层数据含义和业务规则。其描述了对某个数据的共同理解，这些理解一旦确定下来，就应作为标准被共同遵守。数据标准设计遵从以下原则： 以业务为导向，必须满足各标准各方的迫切需求，并根据业务需求分阶段推进制定工作；
前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>大数据数据迁移”，进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。 单击页面右上角的“创建迁移任务”按钮，右侧弹出创建迁移任务窗口。
创建血缘采集任务 前提条件 已完成元数据采集。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”，进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在血缘采集区域，单击“创建任务”，弹出创建血缘采集任务窗口。 根据实际作业类型，选择文件类型并配置对应参数。
创建迁移任务 元数据全量迁移 元数据增量感知 全量数据迁移 增量数据迁移 父主题： 大数据数据迁移（MaxCompute迁移到DLI）
云服务资源准备 VPC&子网&安全组 虚拟私有云（Virtual Private Cloud，简称VPC），为云服务器、云容器、云数据库等资源构建隔离的、用户自主配置和管理的虚拟网络环境，提升用户云上资源的安全性，简化用户的网络部署。 登录华为云，进入网络控制台 在左侧菜单栏选择“虚拟私有云”，单击“创建虚拟私有云”
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
