检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理样本库 数据安全支持将您提供的OBS或HDFS样本文件生成样本库。当新建随机脱敏或字符替换类型的脱敏算法时，可以选择将敏感数据脱敏为样本库文件中的值。 本章主要介绍如何创建样本。 前提条件 已在OBS或HDFS中上传样本文件。样本文件只支持txt格式，大小建议不超过10MB，其中数据可通过换行“\n”、空格“
（可选）获取认证信息 DataArts Studio使用过程中，例如在数据集成创建OBS连接、API调用或问题定位时，您可能需要获取访问密钥、项目ID、终端节点等信息，获取方式如下。 获取访问密钥 您可以通过如下方式获取访问密钥。 登录控制台，在用户名下拉列表中选择“我的凭证”。
的字段偶尔显示不全，无法与目的端字段一一匹配，造成导入到目的端的数据不完整。 原因分析 由于HBase/CloudTable无Schema，每条数据的列数不固定，在字段映射界面CDM通过获取样值的方式有较大概率无法获得所有列，此时作业执行完后会造成目的端的数据不全。 这个问题，可以通过以下方法解决：
自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM
息又形成了新的数据，不同程度的描述信息形成了数据的层次。 DataArts Studio生成的血缘关系图如图1所示，为数据表对象，为作业节点对象，通过对象和箭头的编排表示血缘信息。从血缘关系图中可以看到，wk_02表数据是由wk_01表数据经过hive_1作业节点加工而生成的，w
息又形成了新的数据，不同程度的描述信息形成了数据的层次。 DataArts Studio生成的血缘关系图如图1所示，为数据表对象，为作业节点对象，通过对象和箭头的编排表示血缘信息。从血缘关系图中可以看到，wk_02表数据是由wk_01表数据经过hive_1作业节点加工而生成的，w
rator权限，才能在CDM创建连接。 cdm 密码 访问MRS Manager的用户密码。 - OBS支持 需服务端支持OBS存储。在创建Hive表时，您可以指定将表存储在OBS中。 否 运行模式 “HIVE_3_X”版本支持该参数。支持以下模式： EMBEDDED：连接实例与CDM运行在一起，该模式性能较好。
审批信息,只读参数。业务对象最近一次的审批信息，包括审批的业务详情、审核人信息、审核时间等。 l1 否 String 主题域分组中文名，只读，创建和更新时无需填写。 l2 否 String 主题域中文名，只读，创建和更新时无需填写。 l3 否 String 业务对象中文名，只读，创建和更新时无需填写。
数据源和资源组网络不通如何排查？ 问题描述 配置Migration实时集成作业时，检测源端、目的端数据源与资源组的连通性报异常。 图1 连通性检测异常 解决方案 请根据异常项参考下表进行排查。 表1 网络不通排查方法 类型 异常项 方法 数据源 - CDM异常 实例状态检查异常 检查集群是否在及是否正常运行。
DWS、DLI 支持 支持 Hadoop MRS Hive、MRS Hudi、Doris、ClickHouse、MRS HBase 支持 支持 对象存储 OBS 支持 支持 文件系统 FTP、SFTP 支持 不支持 关系型数据库 RDS(MySQL)、RDS(PostgreSQL)、RDS(SQL
配符时，此授权实际为对列进行授权。 进行授权时，授权对象名（库表列名）当前仅支持包含数字、英文、下划线、中划线和通配符*，暂不支持中文以及其他特殊字符。 MRS Hive授权时，数据库可修改为URL，用于为存算分离场景下的OBS路径授权。存算分离场景下，使用Hive额外所需如下URL权限：
移作业，也可以实现增量数据迁移。 这里以DWS导入到OBS为例，介绍DLF配合CDM实现增量迁移的流程： 获取CDM作业的JSON 修改JSON 创建DLF作业 获取CDM作业的JSON 进入CDM主界面，创建一个DWS到OBS的表/文件迁移作业。 在CDM“作业管理”界面的“表
导出作业配置（导出的文件为JSON格式），然后参考该作业配置，在JSON文件中批量复制出更多作业，最后导入CDM以实现批量创建作业。 操作步骤 进入CDM主界面，单击左侧导航上的“集群管理”，选择集群后的“作业管理”。 单击“表/文件迁移”显示作业列表，提供以下批量操作： 作业分组
D。 请求参数 参数说明： 参数名 是否必选 参数类型 说明 path 是 String 有OBS场景：连接定义文件在OBS上的路径，连接定义文件的格式参考导出连接的响应消息。 无OBS场景：连接定义文件在本地的路径。 params 否 List<Params> 连接参数，默认值为空。
创建DataArts Studio数据连接。DWS数据连接中的账户要具备待控制表的GRANT权限（数据库对象创建后，默认只有对象所有者或者系统管理员可以通过GRANT命令将对象的权限授予其他用户）。 行级访问控制为指定用户/用户组在数据源上关联策略，因此需要先将IAM上的用户信息
移有MD5值的文件至目的端，没有MD5值或者MD5不匹配的数据文件将迁移失败，MD5文件自身不被迁移。 若未配置“MD5文件名后缀”，则迁移所有文件。 写入时 该功能目前只支持目的端为OBS。可校验写入OBS的文件，是否与CDM抽取的文件一致。 该功能由目的端作业参数“校验MD5
}, "data_format" : "Parquet", "obs_bucket" : null, "obs_location" : null, "configs" : "{}", "table_type"
主题域中文名，只读，创建和更新时无需填写。 l3 否 String 业务对象中文名，只读，创建和更新时无需填写。 approval_info 否 ApprovalVO object 审批信息,只读参数。业务对象最近一次的审批信息，包括审批的业务详情、审核人信息、审核时间等。 new_biz
价值和风险应被有效管理，以支撑企业管理简化、业务流集成、运营效率提升和经营结果的真实呈现。数据准确是科学决策的基础，数据架构和标准的统一是全流程高效运作、语言一致的前提。 当前企业数据面临很多的问题：没有统一的数据标准，各业务系统间数据无法充分共享，关键核心数据无法识别及跨系统无
Driver：连接GaussDB数据源时，选择此驱动程序名称。 驱动文件来源 是 选择驱动文件的来源方式。 驱动文件路径 是 驱动文件在OBS上的路径。需要您自行到官网下载.jar格式驱动并上传至OBS中。 MySQL驱动：获取地址https://downloads.mysql.com/archives/c-j/，建议5
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
