云服务器内容精选

华为云首页用户手册

静态脱敏任务

数据治理中心 DATAARTS STUDIO-管理静态脱敏任务:约束与限制

约束与限制静态脱敏时，请根据待脱敏数据的字段类型正确选择脱敏算法，否则可能会导致数据库数据异常。例如对date字段使用数值随机算法脱敏，会导致data类型将被强制脱敏为数值类型（Hive和 DLI 脱敏），或者写入失败报错（DWS脱敏）；对数值字段使用哈希算法脱敏，会导致数值类型被强制脱敏为哈希值字符串（Hive和DLI脱敏），或者写入失败报错（DWS脱敏）。运行需要解析样本文件的静态脱敏任务时，样本文件大小建议不超过10MB，否则静态脱敏任务可能会失败。另外，OBS样本文件只能用于DLI引擎的静态脱敏任务，HDFS样本文件只能用于 MRS 引擎的静态脱敏任务。静态脱敏场景与引擎之间的对应关系请参考参考：静态脱敏场景介绍。运行使用自定义哈希类型脱敏算法的静态脱敏任务时，如果使用了dws-SM3密码杂凑算法，则必须选择DWS引擎运行，要求DWS集群版本不低于8.1.3；如果使用了通用-SM3密码杂凑算法，则必须选择DLI或MRS引擎运行。 DLI引擎的静态脱敏任务，运行参数需要存储在OBS桶中，任务运行完成或失败后会删除任务运行参数文件。 DLI引擎的同源静态脱敏任务，运行参数存储在工作空间日志桶中，默认以dlf-log-{Project id}命名。 DLI引擎的跨源静态脱敏任务，运行参数存储在自动创建的加密用户桶dls-dli-{projectId}中。因此DLI引擎静态脱敏前，还需要为dlg_agency委托授予如下OBS权限策略，授权方法可参考授权dlg_agency委托章节。 obs:bucket:HeadBucket obs:bucket:CreateBucket obs:object:PutObject obs:object:DeleteObject obs:bucket:ListBucket obs:object:GetObject obs:bucket:GetEncryptionConfiguration obs:bucket:PutEncryptionConfiguration DLI引擎的静态脱敏任务，当源端或目的端为DWS时，请参考配置DLI队列与内网数据源的网络联通或配置DLI队列与公网网络联通打通DLI Spark通用队列与DWS的网络连接，否则会导致静态脱敏任务失败。源端或目的端为DLI的静态脱敏任务，不支持对DLI中default数据库的数据表进行脱敏。 MapReduce服务（MRS Hive）所在的MRS集群必须开启Kerberos认证，且必须安装Spark组件。 MRS引擎的静态脱敏任务，当源端或目的端为DWS时，请参考参考：授权并绑定委托为MRS集群配置委托，并确保MRS集群安全组出方向规则满足如下要求，否则会导致静态脱敏任务失败。协议：TCP 端口范围：80 远端地址：169.254.0.0/16 MRS引擎的静态脱敏任务，当源端或目的端仅一端为DWS时，支持的数据类型如下。如果有其他不支持的数据类型，将导致静态脱敏任务失败。 tinyint smallint int bigint decimal double float boolean string timestamp DWS引擎的同源静态脱敏任务，不支持跨数据库脱敏，即DWS源端和目的端数据表所在的数据库必须相同。静态脱敏任务的数据集范围选择为增量时，需选择时间字段类型Timestamp、Date字段类型来确定增量范围。

数据治理中心 DATAARTS STUDIO 静态脱敏任务
数据治理中心 DATAARTS STUDIO-管理静态脱敏任务:参考：静态脱敏场景介绍

参考：静态脱敏场景介绍隐私保护管理目前支持的静态脱敏场景如表3所示。表3 静态脱敏场景源端数据源类型目的端数据源类型计算引擎说明数据湖探索（DLI）数据湖探索（DLI）使用DLI Spark通用队列 - 数据仓库服务（DWS）使用DLI Spark通用队列 DLI引擎的静态脱敏任务，当源端或目的端为DWS时，请参考配置DLI队列与内网数据源的网络联通或配置DLI队列与公网网络联通打通DLI Spark通用队列与DWS的网络连接，否则会导致静态脱敏任务失败。数据仓库服务（DWS）数据仓库服务（DWS）使用DWS集群使用MRS集群使用DLI Spark通用队列 DWS引擎： DWS引擎的同源静态脱敏任务，不支持跨数据库脱敏，即DWS源端和目的端数据表所在的数据库必须相同。 MRS引擎： MapReduce服务（MRS Hive）所在的MRS集群必须开启Kerberos认证，且必须安装Spark组件。 MRS引擎的静态脱敏任务，当源端或目的端为DWS时，请参考参考：授权并绑定委托为MRS集群配置委托，并确保MRS集群安全组出方向规则满足如下要求，否则会导致静态脱敏任务失败。协议：TCP 端口范围：80 远端地址：169.254.0.0/16 DLI引擎： DLI引擎的静态脱敏任务，当源端或目的端为DWS时，请参考配置DLI队列与内网数据源的网络联通或配置DLI队列与公网网络联通打通DLI Spark通用队列与DWS的网络连接，否则会导致静态脱敏任务失败。 MapReduce服务（MRS Hive）使用MRS Hive所在的MRS集群 MapReduce服务（MRS Hive）所在的MRS集群必须开启Kerberos认证，且必须安装Spark组件。 MRS引擎的静态脱敏任务，当源端或目的端为DWS时，请参考参考：授权并绑定委托为MRS集群配置委托，并确保MRS集群安全组出方向规则满足如下要求，否则会导致静态脱敏任务失败。协议：TCP 端口范围：80 远端地址：169.254.0.0/16 MRS引擎的静态脱敏任务，当源端或目的端仅一端为DWS时，支持的数据类型如下。如果有其他不支持的数据类型，将导致静态脱敏任务失败。 tinyint smallint int bigint decimal double float boolean string timestamp 数据湖探索（DLI）使用DLI Spark通用队列 DLI引擎的静态脱敏任务，当源端或目的端为DWS时，请参考配置DLI队列与内网数据源的网络联通或配置DLI队列与公网网络联通打通DLI Spark通用队列与DWS的网络连接，否则会导致静态脱敏任务失败。 MapReduce服务（MRS Hive） MapReduce服务（MRS Hive）使用源端MRS Hive所在的MRS集群 MapReduce服务（MRS Hive）所在的MRS集群必须开启Kerberos认证，且必须安装Spark组件。数据仓库服务（DWS）使用MRS Hive所在的MRS集群 MapReduce服务（MRS Hive）所在的MRS集群必须开启Kerberos认证，且必须安装Spark组件。 MRS引擎的静态脱敏任务，当源端或目的端为DWS时，请参考参考：授权并绑定委托为MRS集群配置委托，并确保MRS集群安全组出方向规则满足如下要求，否则会导致静态脱敏任务失败。协议：TCP 端口范围：80 远端地址：169.254.0.0/16 MRS引擎的静态脱敏任务，当源端或目的端仅一端为DWS时，支持的数据类型如下。如果有其他不支持的数据类型，将导致静态脱敏任务失败。 tinyint smallint int bigint decimal double float boolean string timestamp

数据治理中心 DATAARTS STUDIO 静态脱敏任务
数据治理中心 DATAARTS STUDIO-管理静态脱敏任务:前提条件

前提条件静态脱敏任务需要根据脱敏策略来进行脱敏，相关前提条件如下：已配置内置脱敏算法或者已自定义脱敏算法，请参考管理脱敏算法进行配置和定义。已完成脱敏策略的创建，请参考新建脱敏策略。待脱敏的数据表已完成敏感数据发现任务，请参考创建敏感数据发现任务。已通过“敏感数据分布”，修正敏感数据字段的数据状态为“有效”，请参考查看敏感数据分布。 DLI引擎静态脱敏任务，需要为dlg_agency委托授予如下OBS权限策略，授权方法可参考授权dlg_agency委托章节。 obs:bucket:HeadBucket obs:bucket:CreateBucket obs:object:PutObject obs:object:DeleteObject obs:bucket:ListBucket obs:object:GetObject obs:bucket:GetEncryptionConfiguration obs:bucket:PutEncryptionConfiguration

数据治理中心 DATAARTS STUDIO 静态脱敏任务
数据治理中心 DATAARTS STUDIO-管理脱敏策略:相关操作

相关操作编辑脱敏策略：在脱敏策略页面，单击对应策略操作栏中的“编辑”，即可修改脱敏策略各项参数。编辑脱敏策略状态：新增的脱敏策略默认为启用状态。当脱敏策略为关闭状态时，表示该策略将不可被静态脱敏任务引用。需要修改脱敏策略状态时，在脱敏策略页面单击对应脱敏策略中的或，即可启用或关闭脱敏策略。被静态脱敏任务引用的脱敏策略不能关闭。删除脱敏策略：在脱敏策略页面，单击对应策略操作栏中的“删除”，即可删除策略。当需要批量删除时，可以在勾选脱敏策略后，在列表上方单击“批量删除”。注意，被静态脱敏任务引用的策略不能被删除。若要删除已引用的策略，需要先修改引用关系，再进行删除操作。删除操作无法撤销，请谨慎操作。

数据治理中心 DATAARTS STUDIO 静态脱敏任务
数据治理中心 DATAARTS STUDIO-管理脱敏策略:新建脱敏策略

新建脱敏策略在 DataArts Studio 控制台首页，选择对应工作空间的“数据安全”模块，进入数据安全页面。单击左侧导航树中的“脱敏策略”，进入脱敏策略页面，在页面上方单击“新建”，创建脱敏策略。图1 创建脱敏策略在弹出的新建脱敏页面中填写策略信息，参考表1完成配置。配置完成后单击“确定”即可。图2 创建脱敏策略界面表1 创建脱敏策略参数配置参数参数描述 *策略名称用户自定义策略名称，只能包含英文字母、数字、“_”，且长度不能超过64个字符。描述为更好地识别脱敏策略，此处加以描述信息，长度不能超过255个字符。 *状态开启状态表示该策略可供使用。关闭状态表示该策略不能被使用。 *识别规则和脱敏算法选择敏感数据的识别规则，以及对应的脱敏算法。 *识别规则：选择已经定义的数据识别规则，详情请参考定义识别规则。规则描述：增加相应规则描述。 *算法类型：下拉选择算法类型，详情请参考表1。 *脱敏算法：下拉选择脱敏算法类型关联的算法，详情请参考表1。说明：如下算法在使用前必须先在脱敏算法处配置密钥，才能正常使用。哈希算法中的“HMAC-SHA256哈希”算法。加密算法中的“dws列加密”算法。不同脱敏算法的更多使用限制，请参考管理脱敏算法。

数据治理中心 DATAARTS STUDIO 静态脱敏任务