检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持记录迁移和文件迁移 默认为记录迁移。仅当源端为Hive2.x且数据存储在HDFS、目的端为Hive3.x且数据存在OBS并行文件系统时，才支持文件迁移。 当选择文件迁移时，需保证源端和目的端的表格式和属性需一致才能迁移成功。 记录迁移 文件迁移 分区过滤条件 “读取方式”选择“HDFS”时显示此参数。
选择指标的刷新频率。开发者或运维者可以依据指标的刷新频率，合理设置指标开发的调度频率。 指标应用场景 描述指标的应用场景。 例如，用于衡量地区经营效益，支撑商业决策。 度量对象 衡量该指标的度量字段。 例如，该示例中，可以设置为营业额。 计量单位 指标的计量单位。 例如，该示例中，可以设置为元。 配置管理信息。 图4
确认无误后，单击“确认提交”，完成后界面将显示同步结果。 同步后，您可以在维度表列表中，查看维度表的同步状态。单击列表右上方的刷新按钮，可以刷新状态。您可以切换生产环境和开发环境查看同步结果。 维度表关联质量规则 在数据架构控制台，选择“模型设计 > 维度建模”，进入维度建模页面。 单击“维度表”页签，进入维度表页面。
选择目录 选择作业所属的目录，默认为根目录。 日志路径 选择作业日志存放路径，默认为obs://dlf-log-....../。 勾选“我确认OBS桶obs://dlf-log-....../将被创建，该桶仅用于存储DLF的作业运行日志”选项，若要修改日志路径，请前往DataArts
作的协助者。 确保领域治理工作的流程和内容规范，符合数据治理要求。 协助数据代表进行问题跟踪和解决。 梳理、维护并更新领域数据元数据（业务对象、数据标准、数据模型）。 推广和维护数据治理工具和平台在本领域的应用。 数据专员（Data Specialists）：数据专员是领域数据治理工作的专家团队。
涉及到用户的权限和资源权限控制 2 数据集成 有哪些数据源要迁移，数据源版本 CSV格式的数据，存储于OBS桶 - 每种数据源的数据全量数据规模 2，114 字节 - 每种数据源每天的增量数据规模 本示例不涉及 - 迁移目的端数据源种类以及版本 迁移到MRS Hive3.1 - 数据的迁移周期：天、小时、分钟还是实时迁移
面。 在页面的中间栏位的最上方，选择一个需要导出的物理模型。 选择所需导出的表，单击列表上方的“导出”按钮，导出所选的关系建模表，建议导出对象选择为“表”。导出完成后，即可通过浏览器下载地址，获取到导出的xlsx文件。 图5 导出关系建模表 在界面中间栏位的最上方，依次选择其他模
节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 OBS路径 是 删除OBS桶或目录的路径。 说明： 删除的文件将无法恢复，如需保留文件，请在删除前备份该桶下的数据。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间
直接编辑作业的JSON文件，作用等同于修改作业的参数配置。 源目的统计查询 可对已经配置好的数据库类作业打开预览窗口，预览最多1000条数据内容。可对比源端和目的端的数据，也可以通过对比记录数来看迁移结果是否成功、数据是否丢失。 修改 修改作业参数 可重新配置作业参数，支持重新选择源连接和目的连接。 编辑作业JSON
SQL脚本，脚本参数发生变化，可单击刷新按钮同步。 UDF Jar 否 当作业所属集群选择独享集群时，该参数有效。在选择UDF Jar之前，您需要将UDF Jar包上传至OBS桶中，并在“资源管理”页面中新建资源，具体操作请参考新建资源。 用户可以在SQL中调用插入Jar包中的自定义函数。 DLI队列 是 默认选
在作业的“操作”列，支持作业级别的恢复。停止操作请参见实时集成作业监控：恢复。 6 查看作业实例状态 单击作业名称前方的，查看该作业下的子作业ID、源端数据源、目的端数据源、异常信息等内容。 7 查看作业详细信息 单击作业名称，支持查看该作业的基本信息、监控信息、日志信息。查看作业详细信息请参见实时集成作业监控：查看作业详细信息。
CSV_FILE：CSV格式。 PARQUET_FILE：PARQUET格式。 BINARY_FILE：二进制格式。 当选择“BINARY_FILE”时，目的端也必须为文件系统。 fromJobConfig.columnList 否 String 需要抽取的列号，列号之间使用“&”分割，并由小到大排序，例如：“1&3&5”。
作业名称不得包含中文字符、超出长度限制等。如果作业名称不符合规则，将导致提交MRS作业失败。 Jar包资源 是 选择Jar包。在选择Jar包之前，您需要先将Jar包上传至OBS桶中，并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中，具体操作请参考新建资源。 Jar包参数 否 Jar包的参数。 输入数据路径
嵌入水印任务的名称，只能包含英文字母、数字、中文字符、下划线或中划线，且长度为1~64个字符。 为便于水印嵌入任务管理，建议名称中标明要嵌入水印的对象和水印标识。 描述 为更好地识别嵌入水印任务，此处加以描述信息。 *水印标识 系统会将水印标识嵌入到数据表中，标识长度不超过16个字符即可。
填写数值”，可以快速设置各字段的值。 发布历史 在码表列表中，找到所需要的码表，单击其所在行的“更多-发布历史”，可以查看码表的发布历史和变更详情，并支持进行版本对比。 父主题： 标准设计
”对话框。 配置导入信息。 文件位置：支持从本地导入和从OBS导入两种方式。 选择文件：本地导入的文件选择本地路径；OBS导入的文件选择OBS桶路径。 建议通过导出标签功能获取导入文件，导入文件的第一行为标签名，第一列为作业名。某作业具有某一标签，记录为1，否则记录为0。如果某单元格为空，导入时系统会按0标记。
使用成本 起步成本低，后期成本较高 起步成本高，后期成本较低 数据质量 包含大量原始数据，使用前需要清洗和标准化处理 质量高，可作为事实依据 适用对象 数据科学家、数据开发人员为主 业务分析师为主 华为智能数据湖方案 华为数据使能服务DAYU，为大型政企客户量身定制跨越孤立系统、感知业务
自定义SQL的运行结果展示最多最多300条数据，超出部分会自动截断。最多导出10000条数据。 对账作业结果 对账作业运行结果中，左侧表示源端表行数规则运行结果，右侧表示目的端表行数规则运行结果，误差率表示两端数据行数的差异比率，误差率为0表示两端一致。 更多 > 处理&记录 对当前规则实例进行进一步处理。支持填写处理意见，关闭问题和移交他人。
建MRS Hive数据连接。 在“表/文件迁移”页签中，单击“新建作业”，创建数据迁移作业。 配置Oracle源端参数、MRS hive目的端参数，并配置传递参数，参数形式为 ${varName}，本示例参数为${cur_date}，如图2所示。 图2 配置作业 不能在CDM迁移
请设为“是”，否则可能会丢数据。 否 拆分作业 选择“是”，会根据“作业拆分字段”值，将作业拆分为多个子作业并发执行。 说明： 仅支持目的端为DLI和Hive时配置该参数及作业拆分字段、拆分字段最小值、拆分字段最大值、子作业个数参数。 否 作业拆分字段 “拆分作业”选择“是”时
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
