检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过VPN连通网络 本章节主要为您介绍数据库部署在其他云厂商场景下的网络打通方案。 图1 网络示意图 约束限制 资源组为私网网段，不能与数据源网段重叠，否则会导致网络无法打通。 资源组不具有公网网段，因此本方案仅能与数据源的私网连通。 前提条件 已购买资源组，详情请参见购买数据集成资源组
配置连接参数 OBS连接参数说明 PostgreSQL/SQLServer连接参数说明 数据仓库服务（DWS）连接参数说明 云数据库MySQL/MySQL数据库连接参数说明 Oracle数据库连接参数说明 DLI连接参数说明 Hive连接参数说明 HBase连接参数说明 HDFS连接参数说明
MySQL到DWS参数调优 源端优化 MySQL抽取优化 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental.snapshot.backfill.skip
数据源和资源组网络不通如何排查？ 问题描述 配置Migration实时集成作业时，检测源端、目的端数据源与资源组的连通性报异常。 图1 连通性检测异常 解决方案 请根据异常项参考下表进行排查。 表1 网络不通排查方法 类型 异常项 方法 数据源 - CDM异常 实例状态检查异常 检查集群是否在及是否正常运行
批量配置作业 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 单击作业目录中的
数据治理实施方法论 数据治理实施方法论按照数据治理成熟度评估->评估现状、确定目标、分析差距->计划制定、计划执行->持续监测度量演进的关键实施方法形成数据治理实施闭环流程。 图1 数据治理实施方法论 这也遵循了PDCA（Plan-Do-Check-Action）循环的科学程序，同时结合数据治理工作的特点设计了两个层面的度量评估
数据开发调用数据质量算子并且作业运行的时候需要传入质量参数 由于数据质量作业在执行SQL语句时不支持传参，通过数据开发调用数据质量算子，运行的时候可以把数据质量作业的参数传递给数据质量算子作业，实现数据质量的参数传递。 使用场景 数据质量需要传递参数到数据质量算子作业里面并且能够正常运行
MRS中恢复HBase表 CDH HBase表目录已经迁移到MRS HBase后，可以使用命令恢复。对于那些会变化的数据，需要使用快照保证数据不变，然后再迁移并恢复。 约束限制 本方案仅支持迁移数据到MRS 1.x版本集群，2.x及之后版本无法通过HBase修复命令重建HBase表
Oracle数据库连接参数说明 连接Oracle数据库时，连接参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 Oracle数据库连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型
统一权限治理 权限治理使用流程 授权dlg_agency委托 检查集群版本与权限 同步IAM用户到数据源 数据权限访问控制 服务资源访问控制 Ranger权限访问控制 父主题： 数据安全
配置任务组 通过配置任务组，可以更细粒度的进行当前任务组中的作业节点的并发数控制。 约束限制 该功能不支持实时处理作业，只支持批处理作业。 任务组不能跨工作空间去使用。 对于Pipeline作业，每个节点都可以配置一个任务组，也可以在作业里面统一配置任务组，如果配置了作业级任务组，
添加审核人 在数据架构中，业务流程中的步骤都需要经过审批，因此，需要先添加审核人。只有工作空间管理员角色的用户才具有添加审核人的权限。 添加审核人 审核人必须是当前工作空间下具有审核权限的成员，需要先在“DataArts Studio首页-空间管理”的工作空间内编辑并添加空间成员。
数据服务专享版的API怎样通过域名访问？ 对于默认发布在数据服务专享版集群的API，当数据服务专享版集群绑定域名后，API即可通过域名访问。 绑定内网域名：内网域名是指在VPC中生效的域名。绑定内网域名，可以将内网域名与内网地址相关联，然后在内网同一VPC中通过内网域名进行API调用
配置Kafka源端参数 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topic 主题名称。支持单个topic。 cdm_topic 数据格式 解析数据时使用的格式： JSON：以JSON格式解析源数据。 CSV格式：以CSV格式解析源数据。 JSON
敏感数据治理流程 敏感数据定义 敏感数据主要指未经个人或集团授权被他人使用，有可能给个人或集团带来严重损害的数据。 以《GBT 35273-2020 信息安全技术个人信息安全规范》为例，个人敏感数据有： 个人财产信息 （存款、信贷、消费流水） 个人健康生理信息（体检信息、医疗记录）
解锁脚本 脚本/作业解锁涉及到数据开发的编辑锁定功能。 编辑锁定：用于避免多人协同开发脚本/作业时产生的冲突。新建或导入脚本/作业后，默认当前用户锁定脚本/作业，只有当前用户自己锁定的脚本/作业才可以直接编辑、保存或提交，通过“解锁”功能可解除锁定；处于解除锁定或他人锁定状态的脚本
SFTP/FTP数据连接参数说明 表1 SFTP/FTP数据连接 参数 是否必选 说明 数据连接类型 是 SFTP/FTP连接固定选择为SFTP/FTP。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性
查看业务场景实例 管理所有运行的业务场景，查看运行状态、运行日志、问题处理等。 界面说明 介绍“业务指标监控 > 运维管理”页面中的区域和按键功能。 图1 运维管理页面 表1 运维管理页面说明 序号 区域 描述 1 菜单栏 运维管理的菜单栏，包括业务场景实例和我的订阅。 业务场景实例
解锁作业 脚本/作业解锁涉及到数据开发的编辑锁定功能。 编辑锁定：用于避免多人协同开发脚本/作业时产生的冲突。新建或导入脚本/作业后，默认当前用户锁定脚本/作业，只有当前用户自己锁定的脚本/作业才可以直接编辑、保存或提交，通过“解锁”功能可解除锁定；处于解除锁定或他人锁定状态的脚本
节点参考 节点概述 节点数据血缘 CDM Job Data Migration DIS Stream DIS Dump DIS Client Rest Client Import GES MRS Kafka Kafka Client ROMA FDI Job DLI Flink Job
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
