华为云用户手册

查看DWS集群guest agent版本 登录 GaussDB (DWS) 管理控制台，进入“集群管理”，在集群列表中找到所需要的集群。 按下F12，打开开发者调试工具，然后选择Network功能。 图1 选择Network 在DWS控制台中，单击待查看的DWS集群名称，进入集群“基本信息”页面。然后在开发者调试工具的Network请求中，寻找Name形如“clusters?type=xxxxxx”的长字符串并单击，在右侧区域中选择“Preview”，依次展开字段，查找“guest_agent_version”字段，其值即为DWS集群的guest agent版本。 图2 查找“guest_agent_version”字段 如果非所需版本，请联系DWS服务客服或技术支持人员。

使用前检查checklist 表1 使用前检查checklist 检查项 是否必选 检查内容 配置指导 数据连接Agent版本 MRS /DWS权限管理时必选 CDM 集群为2.10.0.300及以上版本。 登录CDM管理控制台，进入“集群管理”，在集群列表中找到所需要的集群，然后单击集群名称，进入集群“基本信息”页面查看集群版本号。 如果非所需版本，请创建最新版本CDM集群或联系客服或技术支持人员。 Ranger组件配置 MRS权限管理时必选 MRS非安全集群Ranger组件开启同步ldap用户功能。 MRS非安全集群，由于Ranger组件默认同步unix用户，不会同步Manager上的用户/用户组/角色，因此需要切换用户同步策略。操作详情请参考配置Ranger组件。 Ranger连接用户权限 连接中的用户具备Ranger组件Admin权限。 Ranger连接中的用户需要具备Ranger组件Admin权限，操作详情请参考准备Ranger Admin用户。 DWS集群guest_agent版本 DWS权限管理时必选 DWS集群guest_agent版本为8.2.1，或在8.2.1以上、9.0.0以下 DWS集群guest agent版本号需要通过开发者调试工具查看，操作详情请参考查看DWS集群guest agent版本。 DWS连接用户权限 非三权分立模式，连接中的用户至少需具备数据库dbadmin权限， 三权分立模式，连接中的用户需具备系统管理员权限。 非三权分立模式，参考数据库用户设置dbadmin管理员用户。 三权分立模式，参考设置三权分立设置系统管理员用户。

使用流程 您可通过图1了解统一权限治理的使用流程。 图1 统一权限治理使用流程图 统一权限治理支持数据权限管控、服务资源管控和Ranger权限管理，流程介绍如下： 数据权限管控流程 授权dlg_agency委托 由于数据安全使用委托时，所需的云服务权限更高。因此在使用数据安全前，需要提前为dlg_agency委托授予相关权限。 检查集群版本与权限 统一权限治理对数据连接Agent、数据源版本和用户权限等均有相应的要求。在使用前，您应先检查并准备相关配置。 同步 IAM 用户到数据源 将IAM上的用户信息同步到数据源，以实现不同用户访问数据源时，能够根据其自身用户信息管控用户访问数据的权限。 配置空间权限集 空间权限集作为 DataArts Studio 工作空间内的最大权限集合，主要用于确定整个工作空间用户可访问的权限范围。 配置权限集 权限集将用户与权限直接关联，可以新建多个用于给不同使用场景的用户关联不同的权限，可通过权限同步进行权限管控（实际使用时，更推荐通过权限集关联角色进行权限管控）。 配置通用角色 配置通用角色即在数据源上创建新角色，用于承载用户和权限之间的关联关系，可以更加直观地管理权限关系、进行权限管控。 配置纳管角色 配置纳管角色即为纳管MRS数据源上已有的角色，并继承已有角色的MRS数据源权限。 配置行级访问控制 数据安全支持成员管理视图，支持查看当前工作空间内成员的权限，并进行角色/权限集管理。 同步MRS Hive和Hetu权限 数据安全支持成员管理视图，支持查看当前工作空间内成员的权限，并进行角色/权限集管理。 申请权限 进行访问权限管理时，除了可以自上而下地通过权限集/角色方式为用户授权外，也支持自下而上的用户权限申请、审批流程。 审批权限 审批人来自权限集/角色的管理员，权限审批后即刻生效。 启用细粒度认证 配置细粒度认证后，在DataArts Studio数据开发执行脚本、测试运行作业或调度作业时，数据源将不再使用数据连接上的账号，而是使用当前用户身份认证鉴权，从而做到实现不同用户具有不同的数据权限，使角色/权限集或队列权限中的权限管控生效。 服务资源管控流程 配置队列权限 队列权限可以为当前工作空间分配可使用的MRS Yarn和 DLI 队列资源，并为用户组/用户配置对应的队列权限策略。 当为工作空间分配队列资源后，在数据开发组件在为作业节点配置队列资源时，可选择的队列为当前空间下已分配的队列资源。 当为用户组/用户配置队列权限策略后，授权对象将按照策略内容被授予相应权限。 配置空间资源权限策略 数据安全支持对空间资源进行管控，例如数据连接、委托等资源。空间资源管控后，对于非授权对象的普通用户，则无权再查看并使用此资源。 Ranger权限管理流程 配置资源权限 通过统一入口创建MRS各个组件的权限策略，由Ranger组件实现权限控制。 查看权限报告 通过全面的权限报告，查看资源配置权限策略及其详情。

参数 用户可参考表1，表2和表3配置MRS Presto SQL节点的参数。 表1 属性参数 参数 是否必选 说明 SQL或脚本 是 可以选择SQL语句或SQL脚本。 SQL语句 单击“SQL语句”参数下的文本框，在“SQL语句”页面输入需要执行的SQL语句。 SQL脚本 在“SQL脚本”参数后选择需要执行的脚本。如果脚本未创建，请参考新建脚本和开发SQL脚本先创建和开发脚本。 说明： 若选择SQL语句方式，数据开发模块将无法解析您输入SQL语句中携带的参数。 数据连接 是 默认选择SQL脚本中设置的数据连接，支持修改。 模式 是 默认选择SQL脚本中设置的数据库，支持修改。 脚本参数 否 关联的SQL脚本如果使用了参数，此处显示参数名称，请在参数名称后的输入框配置参数值。参数值支持使用EL表达式。 若关联的SQL脚本，脚本参数发生变化，可单击刷新按钮同步。 节点名称 是 默认显示为SQL脚本的名称，支持修改。 节点名称只能由字母、数字、中划线和下划线组成，并且长度为1～64个字符。 说明： 节点名称不得包含中文字符、超出长度限制等。如果节点名称不符合规则，将导致提交MRS作业失败。 默认情况下，节点名称会与选择的脚本名称保持同步。若不需要节点名称和脚本名称同步，请参考禁用作业节点名称同步变化禁用该功能。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间（秒） 是 设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 超时重试 最大重试次数 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明： 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后，系统支持再重试。 当节点运行超时导致的失败不会重试时，您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。 当前节点失败后，后续节点处理策略 是 节点执行失败后的操作： 终止后续节点执行计划：停止后续节点的运行，当前作业实例状态显示为“失败”。 终止当前作业执行计划：停止当前作业运行，当前作业实例状态显示为“失败”。 继续执行下一节点：忽略当前节点失败，当前作业实例状态显示为“忽略失败”。 挂起当前作业执行计划：当前作业实例的状态为运行异常，该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑，该节点不会实际执行，将直接返回成功。 任务组 否 选择任务组。任务组配置好后，可以更细粒度的进行当前任务组中的作业节点的并发数控制，比如作业中包含多个节点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”，在“类型”的下拉选项中选择要新建的类型。可以选择DWS，OBS， CSS ，HIVE，CUSTOM和DLI类型。 确定 单击“确认”，保存节点输入功能的参数配置。 取消 单击“取消”，取消节点输入功能的参数配置。 编辑 单击，修改节点输入功能的参数配置，修改完成后，请保存。 删除 单击，删除节点输入功能的参数配置。 查看表详情 单击，查看节点输入血缘关系创建数据表的详细信息。 输出 新建 单击“新建”，在“类型”的下拉选项中选择要新建的类型。可以选择DWS，OBS， CS S，HIVE，CUSTOM，CloudTable和DLI类型。 确定 单击“确认”，保存节点输出功能的参数配置。 取消 单击“取消”，取消节点输出功能的参数配置。 编辑 单击，修改节点输出功能的参数配置，修改完成后，请保存。 删除 单击，删除节点输出功能的参数配置。 查看表详情 单击，查看节点输出血缘关系创建数据表的详细信息。

参考：Kafka消息格式要求 第三方平台的动态脱敏策略需要发布到Kafka消息队列，且消息格式满足要求，消息模板及参数说明如下所示。 { "mask_policy_template": { "create_time":1692839884000 //同步当前时间 "name":" task1", //动态脱敏策略名，不能与当前已有动态脱敏策略名重复 "database": "1", //数据库名 "table": "1", //数据表名 "column": "1", //字段名 "column_type":"int", //字段类型 "data_level": "1级", // 字段密级，非必填 "algorithm_config": { "name": "SM3", //动态脱敏规则名称，支持范围为MASK、MASK_SHOW_LAST_4、MASK_SHOW_FIRST_4、MASK_HASH、MASK_DATE_SHOW_YEAR、MASK_NULL、SM3 "type": "HASH", //动态脱敏规则类型，除SM3为HASH类型外，其他规则均为MASK类型 "description": "SM3算法加密", //动态脱敏规则描述 }, "datasource_type":"HIVE", //数据源类型，当前仅支持Hive "users":"aaa,bbb", //指定脱敏用户 "user_groups":"ggg" //指定脱敏用户组 "description":{ "jdbc_url": "hive2://xxx" //自定义描述，用于在失败消息中返回携带 } } }

订阅动态脱敏策略 在DataArts Studio控制台首页，选择对应工作空间的“数据安全”模块，进入数据安全页面。 单击左侧导航树中的“动态脱敏”，进入动态脱敏页面，然后切换到“动态脱敏订阅”页签。 图2 进入动态脱敏订阅页签 单击“创建订阅”，弹出创建订阅窗口，参数配置参考表1。 图3 创建订阅参数配置 创建动态脱敏订阅任务参数配置说明： 表1 配置任务参数 参数名 参数说明 连接配置 *选择集群 选择需要同步第三方平台动态脱敏策略的集群。 当前暂不支持同步策略到多个集群。如果希望通过多个订阅任务分别同步到多个集群，则会由于生成的策略名重复导致Kafka消息消费失败。 集群类型 无需选择，自动根据选择的集群匹配集群类型。当前仅支持同步策略到MRS集群。 数据连接 无需选择，自动根据选择的集群匹配数据连接。 *kafka数据连接 选择在前提条件中已创建的MRS Kafka类型数据连接。注意，Kafka应为第三方平台发布消息所在的Kafka，Kafka数据连接中的账户要具备kafkaadmin用户组的权限。 *topic主题 选择第三方平台的动态脱敏策略发布Kafka消息的Topic主题。同一个MRS集群的一个Topic主题只能对应一个订阅任务。 调度配置 调度时间 选择每天调度生效的时间段。 建议消息量大小评估调度时间，目前消费一个数据加同步大约需要2秒。 调度周期 选择按小时还是按分钟调度。 调度间隔 选择调度间隔时间。 单击“确定”，完成动态脱敏订阅任务的创建。动态脱敏策略创建完成后，需要手动单击“启动”，启动任务调度。

约束与限制 仅DAYU Administrator、Tenant Administrator用户或者数据安全管理员可以创建、编辑、启动、停止或同步动态脱敏订阅任务，其他普通用户无权限操作。 动态脱敏订阅仅支持订阅第三方平台中MRS Hive类型的动态脱敏策略，且动态脱敏策略中支持的脱敏规则仅限于数据安全中已支持的规则（暂不支持“自定义/保留前x后y”和“自定义/掩盖前x后y”两个自定义规则），详见表2。 通过订阅生成的动态脱敏策略名为Kafka消息中的策略名，由于数据安全不允许策略名重复，因此数据安全已有动态脱敏策略名需要避免与Kafka消息中的策略名重复。 订阅生成的动态脱敏策略名同步到Ranger后策略名为“dlsMasking-库名-表名-列名”，由于Ranger不允许策略名重复，因此Ranger已有策略名需要避免与生成的策略命名重复。 动态脱敏订阅时，数据安全通过订阅任务中的“MRS集群”+Kafka消息动态脱敏策略中的“库表列”来标识一条动态脱敏策略。当消息队列或数据安全中已存在同集群同库表列的动态脱敏策略时，则跳过不再重复生成。 MRS Hive数据源的“SM3”、“自定义/保留前x后y”和“自定义/掩盖前x后y”这三种脱敏规则非MRS Ranger组件提供，而是通过UDF自定义函数实现的算法。因此如果使用这三种脱敏规则之一，则会上传算法依赖的JAR包到MRS集群，并需要提前授予Ranger数据连接中账号的创建UDF权限以及所有用户的使用UDF权限，详见参考：配置Ranger组件中的UDF相关权限。 数据安全消费Kafka消息时，需要消息的格式满足要求，详见参考：Kafka消息格式要求。 Kafka消息不满足消息格式：则记录同步失败消息日志，继续消费下一条消息，最终状态为部分失败或者同步失败。 Kafka消息合法，但是由于网络资源等原因消费失败：触发Kafka重试机制，重试3次，间隔分别为4、6、9s，如果依然失败，则记录日志，终止此次调度。 Kafka消息合法，正常消费，但是生成策略或同步Ranger时失败：记录同步失败消息日志，继续消费下一条，最终状态为部分失败或者同步失败。 失败的kafka消息最多存储16M数据。

创建动态水印策略 在DataArts Studio控制台首页，选择对应工作空间的“数据安全”模块，进入数据安全页面。 单击左侧导航树中的“动态水印”，进入动态水印页面。 图1 进入动态水印页面 单击，开启数据开发动态水印功能。然后单击“新建”，进入新建动态水印策略页面，参数配置参考表1。 图2 新建动态水印策略参数配置 创建动态水印策略参数配置说明： 表1 配置策略参数 参数名 参数说明 *策略名称 动态水印策略的唯一标识，DataArts Studio实例内的名称唯一。 为便于策略管理，建议名称中标明要添加水印的对象和水印内容。 *用户组/角色 指定当前工作空间成员中的用户、用户组或角色。当指定对象在数据开发组件中查询或导出敏感数据时，系统会对敏感数据添加动态水印，保护敏感数据不被泄露。 *数据源类型 从下拉列表中选择MRS Hive数据源或MRS Spark数据源。 *数据连接 从下拉列表中选择数据连接类型中已创建的数据连接，若未创建请参考创建DataArts Studio数据连接新建连接。 *集群名称 无需选择，自动匹配数据连接中的数据源集群。 *数据库 选择敏感数据所在的数据库。 *数据表 选择敏感数据所在的数据表。 单击“确定”，完成动态水印策略创建。

相关操作 水印提取：获得从数据开发下载的动态水印CSV数据文件后，参考水印提取进行水印溯源。 配置策略：在动态水印页面，单击对应任务操作栏中的“配置”，即可配置动态水印策略。 编辑策略状态：新增的水印策略默认为启用状态。当水印策略为关闭状态时，表示该策略将不生效。 需要修改水印策略状态时，在动态水印页面单击对应水印策略中的或，即可启用或关闭水印策略。 删除策略：在动态水印页面，单击对应任务操作栏中的“删除”，即可删除策略。当需要批量删除时，可以在勾选策略后，在列表上方单击“删除”。 删除操作无法撤销，请谨慎操作。 查看策略详情：在动态水印页面，找到需要查看的策略，单击策略名即可查看策略详情。 图3 查看策略详情

约束与限制 仅DAYU Administrator、Tenant Administrator用户或者数据安全管理员可以开启或关闭数据开发动态水印功能，至少为工作空间管理员角色才可以创建动态水印策略，其他普通用户无权限操作。 当前动态水印策略仅支持MRS Hive和MRS Spark数据源。 新增、删除或修改动态水印策略后，需要约5分钟后才能生效。 仅当转储或下载数据量大于500行时，系统才会进行水印嵌入。如果数量小于等于500行，即使嵌入水印后也难以溯源。

水印提取 当前仅支持对已通过水印注入注入暗水印的结构化数据文件（csv、xml和json）进行水印提取。 在DataArts Studio控制台首页，选择对应工作空间的“数据安全”模块，进入数据安全页面。 单击左侧导航树中的“文件水印”，然后选择“水印提取”，进入水印提取页面。 图2 进入水印提取页面 在水印提取页面输入基本信息，参数配置请参考表2。 表2 水印提取参数配置 参数名 参数描述 *数据类型 选择文件类型，当前仅支持结构化数据（csv、xml和json）。 结构化数据文件类型支持注入暗水印，水印内容不可见，需要进行水印提取。 *水印内容 无需填写，执行提取水印后会显示提取到的水印信息。 *数据选择 选择已通过水印注入注入暗水印的结构化数据文件（csv、xml和json）。 单击“提取水印”，完成文件水印提取，水印内容参数展示提取后的水印内容。 单击“重置”可重置配置参数至默认状态。

约束与限制 结构化数据文件暗水印的注入和提取时，需限制文件大小在4MB之内。 非结构化数据文件明水印在注入时，需限制文件大小在20MB之内。 不支持为已注入水印的文件再次注入水印。 结构化数据文件水印嵌入的数据有以下要求： 待嵌入水印的源数据需要大于等于5000行。小于5000行的源数据有可能因为特征不够导致提取水印失败。 尽量选取数据取值比较多样的列嵌入水印，如果该列的值是可枚举穷尽的，则有可能因为特征不够导致提取失败。常见的适合嵌入水印的列如地址、姓名、UUID、金额、总数等。 数值整型字段嵌入水印可能会出现数据被修改的情况，请选择可以接受值发生改变的字段插入水印。 结构化数据文件的水印提取与数据水印的水印溯源任务无关。仅支持同一账号下用户对已通过水印注入或管理动态水印策略注入水印后的结构化数据文件进行水印提取。

水印注入 在DataArts Studio控制台首页，选择对应工作空间的“数据安全”模块，进入数据安全页面。 单击左侧导航树中的“文件水印”，默认进入水印注入页面。 图1 进入水印注入页面 在水印注入页面输入基本信息，参数配置请参考表1。 表1 水印注入参数配置 参数名 参数描述 *数据类型 选择文件类型。 结构化数据（csv、xml和json）。支持注入暗水印，水印内容不可见，需要进行水印提取。 非结构化数据（docx、pptx、xlsx和pdf）。支持注入明水印，可在本地打开水印文件查看效果。 结构化数据 *水印内容 系统会将水印标识嵌入到数据表中，标识长度不超过16个字符即可。 *数据选择 结构化数据仅支持csv、xml和json格式文件。 *选择注入字段 选择需要注入水印的字段。 非结构化数据 *水印内容 系统会将水印标识嵌入到数据表中，标识长度不超过16个字符即可。 透明度 选择明文水印标识的透明度。 旋转角度 选择明文水印标识的旋转角度。 字体大小 选择明文水印标识的字体大小。 *数据选择 非结构化数据仅支持docx、pptx、xlsx和pdf格式文件。 单击“注入水印”，完成文件水印注入，浏览器自动下载注入后的文件。 单击“重置”可重置配置参数至默认状态。

参考：动态脱敏规则介绍 MRS Hive动态脱敏规则由MRS Ranger组件提供，当前支持的规则如表2所示。 MRS Hive数据源的“SM3”、“自定义/保留前x后y”和“自定义/掩盖前x后y”这三种脱敏规则非MRS Ranger组件提供，而是通过UDF自定义函数实现的算法。因此如果使用这三种脱敏规则之一，则会上传算法依赖的JAR包到MRS集群，并需要提前授予Ranger数据连接中账号的创建UDF权限以及所有用户的使用UDF权限，详见参考：配置Ranger组件中的UDF相关权限。 DWS动态脱敏规则由DWS提供，当前支持的规则如表3所示。 表2 MRS动态脱敏规则 数据类型 脱敏规则 掩盖英文字符和数字 保留后四位 保留前四位 哈希掩盖 掩盖月份和日期 NULL掩盖 SM3 自定义/保留前x后y 自定义/掩盖前x后y TINYINT 位数不变，将数值全部替换为1 无变化，最大值为127 无变化，最小值为-128 值变为NULL 位数不变，将数值全部替换为1 值变为NULL 不支持 不支持 不支持 SMALLINT 位数不变，将数值全部替换为1 无变化，最大值为12767 无变化，最大值为-32768 值变为NULL 位数不变，将数值全部替换为1 值变为NULL 不支持 不支持 不支持 INT 位数不变，将数值全部替换为1 保留后四位 保留前四位 值变为NULL 位数不变，将数值全部替换为1 值变为NULL 不支持 不支持 不支持 BIGINT 位数不变，将数值全部替换为1 保留后四位 保留前四位 值变为NULL 位数不变，将数值全部替换为1 值变为NULL 不支持 不支持 不支持 BOOLEAN 值变为NULL 值变为NULL 值变为NULL 值变为NULL 值变为NULL 值变为NULL 不支持 不支持 不支持 FLOAT 值变为NULL 值变为NULL 值变为NULL 值变为NULL 值变为NULL 值变为NULL 不支持 不支持 不支持 DOUBLE 值变为NULL 值变为NULL 值变为NULL 值变为NULL 值变为NULL 值变为NULL 不支持 不支持 不支持 STRING 英文字母变为x，数字变为n 中文无变化，字母等变为X 中文无变化且占一位，字母等变为X 全部被hash到64长度 中文无变化且占一位，字母等变为X 值变为NULL SM3算法加密 保留前x后y 掩盖前x后y TIMESTAMP 值变为NULL 值变为NULL 值变为NULL 值变为NULL 值变为NULL 值变为NULL 不支持 不支持 不支持 CHAR 英文字母变为x，数字变为n 字母数字变为X，后面4位保留(定长有空格) 字母数字变为X，前面4位保留(定长有空格) 全部被hash到64长度 中文无变化且占一位，字母等变为X 值变为NULL SM3算法加密 保留前x后y 掩盖前x后y VARCHAR 英文字母变为x，数字变为n 后四位被保留(中文无变化且占一位)，字母等变为X 前四位被保留(中文无变化且占一位)字母等变为X 全部被hash到64长度 中文无变化且占一位，字母等变为X 值变为NULL SM3算法加密 保留前x后y 掩盖前x后y DATE 年月日变为0001-01-01 年月日变为0001-01-01 年月日变为0001-01-01 值变为NULL year保留，其他数值变为01 值变为NULL 不支持 不支持 不支持 表3 DWS动态脱敏规则 数据类型 脱敏规则 全掩码 保留后4位，其余脱敏为‘*’ 保留前2位，其余脱敏为‘*’ 自定义 字符类型 bpchar、varchar、text、inet、macaddr、uuid、char、txt 全部脱敏为空。 后四位被保留，其余脱敏为“*” 前两位被保留，其余脱敏为“*” 自定义脱敏开始和结束位置，脱敏字符 数值类型 numeric、int2、int8、money、float8、float4、interval、decimal、double precision、real、integer、smallint、bigint 全部脱敏为“0” 不支持 不支持 自定义脱敏开始和结束位置，脱敏字符 时间类型 timestamp、time、timetz、timestamptz、date、time without time zone、timestamp without time zone、time without time zone、timestamp without time zone 全部脱敏为固定值 不支持 不支持 自定义勾选脱敏目标为年、月、日等 其他类型 全部脱敏为固定值 不支持 不支持 不支持

约束与限制 仅DAYU Administrator、Tenant Administrator用户或者数据安全管理员可以创建、修改或删除动态脱敏策略，其他普通用户无权限操作。 MRS Hive和DWS动态脱敏策略为指定用户/用户组在数据源上关联策略，因此需要如果希望在DataArts Studio数据开发执行脚本、测试运行作业时，使用当前用户身份认证鉴权以实现动态脱敏策略生效，则需要启用细粒度认证。 当前动态脱敏策略仅支持MRS Hive和DWS数据源。 单条动态脱敏策略的配置维度为表级别，即一个表只允许绑定一个策略，一个策略也是只允许绑定一个表。只有处于“同步成功”状态的策略才能生效。 MRS Hive动态脱敏时，MRS Ranger支持对同一列配置不同规则，按照配置的时间顺序先后匹配，因此可以配置多条同集群、同库表列的不同内容的脱敏策略。 当前MRS服务支持的脱敏规则如表2所示，但对中文字符仅支持NULL掩盖和哈希掩盖两种脱敏方式，如果选择其他脱敏方式则脱敏不生效。 MRS Hive数据源的“SM3”、“自定义/保留前x后y”和“自定义/掩盖前x后y”这三种脱敏规则非MRS Ranger组件提供，而是通过UDF自定义函数实现的算法。因此如果使用这三种脱敏规则之一，则会上传算法依赖的JAR包到MRS集群，并需要提前授予Ranger数据连接中账号的创建UDF权限以及所有用户的使用UDF权限，详见参考：配置Ranger组件中的UDF相关权限。 DWS动态脱敏不支持DWS逻辑集群，脱敏前需启用DWS动态脱敏能力（修改DWS集群“feature_support_options”参数的CN参数值和DN参数值均为“enable_data_redaction”，修改操作详见修改数据库参数），且DWS数据连接中的账户要具备待脱敏表的GRANT权限（数据库对象创建后，默认只有对象所有者或者系统管理员可以通过GRANT命令将对象的权限授予其他用户）。 当前DWS服务支持的脱敏规则如表3所示，不支持中文脱敏，如果对含有中文字符的数据进行脱敏则可能会出现乱码。

创建动态脱敏策略 在DataArts Studio控制台首页，选择对应工作空间的“数据安全”模块，进入数据安全页面。 单击左侧导航树中的“动态脱敏”，进入动态脱敏页面。 图1 进入动态脱敏页面 单击“新建”，进入新建动态脱敏策略页面，参数配置参考表1。 图2 新建动态脱敏策略参数配置 创建动态脱敏策略参数配置说明： 表1 配置策略参数 参数名 参数说明 *策略名称 动态脱敏策略的唯一标识，DataArts Studio实例内的名称唯一。 为便于策略管理，建议名称中标明要脱敏的对象和脱敏规则。 *数据源类型 当前支持MRS Hive、DWS数据源。 MRS Hive *用户组/用户 指定当前工作空间成员中的用户或用户组。当指定对象在数据开发组件中查询或导出敏感数据时，系统会对敏感数据进行动态脱敏，保护敏感数据不被泄露。 *数据连接 从下拉列表中选择数据连接类型中已创建的数据连接，若未创建请参考创建DataArts Studio数据连接新建连接。 *集群名称 无需选择，自动匹配数据连接中的数据源集群。 *数据库 选择敏感数据所在的数据库。 *数据表 选择敏感数据所在的数据表。 *数据列 您需要勾选一个或多个待脱敏列，并根据不同数据列的数据类型，选择合适的脱敏规则。各类数据源中不同数据类型支持的脱敏规则不同，详见参考：动态脱敏规则介绍。 另外，如果选中的库表列有进行过敏感数据发现并且敏感数据字段的数据状态为“有效”，则将密级和数据分类显示在数据列区域中。 DWS *用户组/用户 指定当前工作空间成员中的用户或用户组。当指定对象在数据开发组件中查询或导出敏感数据时，系统会对敏感数据进行动态脱敏，保护敏感数据不被泄露。 *数据连接 从下拉列表中选择数据连接类型中已创建的数据连接，若未创建请参考创建DataArts Studio数据连接新建连接。 *集群名称 无需选择，自动匹配数据连接中的数据源集群。 *数据库 选择敏感数据所在的数据库。 *schema 选择敏感数据所在的schema。 *数据表 选择敏感数据所在的数据表。 *数据列 您需要勾选一个或多个待脱敏列，并根据不同数据列的数据类型，选择合适的脱敏规则。各类数据源中不同数据类型支持的脱敏规则不同，详见参考：动态脱敏规则介绍。 另外，如果选中的库表列有进行过敏感数据发现并且敏感数据字段的数据状态为“有效”，则将密级和数据分类显示在数据列区域中。 单击“确定”，完成动态脱敏策略创建。动态脱敏策略创建完成后，需要手动单击“同步”，将该策略同步到数据源中。

相关操作 同步策略：在动态脱敏页面，单击对应任务操作栏中的“同步”，即可将该策略同步到数据源中。当需要批量同步时，可以在勾选策略后，在列表上方单击“同步”。 只有处于“同步成功”状态的策略才能生效。如果策略同步失败，可通过查看策略详情查看策略运行日志，通过日志排查同步失败原因。待问题修复后请重新同步，如果仍同步失败，请联系技术支持人员协助处理。 编辑策略：在动态脱敏页面，单击对应任务操作栏中的“编辑”，即可编辑动态脱敏策略。 删除策略：在动态脱敏页面，单击对应任务操作栏中的“删除”，在弹窗中再次确认后，即可删除策略。当需要批量删除时，可以在勾选策略后，在列表上方单击“删除”。 动态脱敏策略删除后将被转移至回收站中，您可以在30天内进行还原，在回收站中超过30天的数据将被自动删除。详见管理回收站章节。 查看策略详情：在动态脱敏页面，通过同步状态筛选策略或直接找到需要查看的策略，单击策略名即可查看策略详情。 图3 查看策略详情

前提条件 新建MRS Hive脱敏策略前，已完成如下操作： 在管理中心创建 MapReduce服务 （MRS Ranger）类型的数据连接，请参考创建DataArts Studio数据连接。 已完成用户同步，将IAM上的用户信息同步到数据源上，详见同步IAM用户到数据源。 新建DWS脱敏策略前，已完成如下操作： 已在管理中心创建 数据仓库 服务（DWS）类型的数据连接，请参考创建DataArts Studio数据连接。 已完成用户同步，将IAM上的用户信息同步到数据源上，详见同步IAM用户到数据源。 已修改DWS集群“feature_support_options”参数的CN参数值和DN参数值均为“enable_data_redaction”，用于启用DWS动态脱敏能力，修改操作详见修改数据库参数。 数据连接中的账户要具备待控制表的GRANT权限（数据库对象创建后，默认只有对象所有者或者系统管理员可以通过GRANT命令将对象的权限授予其他用户）。 MRS Hive和DWS动态脱敏策略为指定用户/用户组在数据源上关联策略，因此需要如果希望在DataArts Studio数据开发执行脚本、测试运行作业时，使用当前用户身份认证鉴权以实现动态脱敏策略生效，则需要启用细粒度认证。 如果希望创建脱敏策略时能够查看哪些字段为敏感字段，则需要提前完成敏感数据发现任务，并通过“敏感数据分布”修正敏感数据字段的数据状态为“有效”。详情请参考发现敏感数据和查看敏感数据分布。

新建脱敏算法 如果内置算法不满足您的需求，您可以新建自定义脱敏算法，自定义脱敏算法支持掩码、截断、哈希、加密、置空、随机脱敏、字符替换、键值脱敏、数值区间变换、模糊脱敏等10余类算法类型。 在DataArts Studio控制台首页，选择对应工作空间的“数据安全”模块，进入数据安全页面。 在数据安全控制台左侧的导航树中单击“脱敏算法”，进入脱敏算法页面。 单击“新建”，新建脱敏算法。 图1 新建脱敏算法 新建脱敏算法参数配置请参考表2，参数配置完成单击“确定”即可。 图2 算法配置 脱敏算法参数说明表： 表2 配置脱敏算法参数说明 配置 说明 *算法名称 用户自定义算法名称，长度不能超过64个字符。 描述 对当前算法进行简单描述，长度不能超过255个字符。 *脱敏算法 自定义脱敏算法支持掩码、截断、哈希、加密、置空、随机脱敏、字符替换、键值脱敏、数值区间变换、模糊脱敏等10余类算法类型，您可以根据脱敏需求自行选择。 掩码：支持字符型、数值型、日期型掩码，将指定位置的原始数据脱敏为固定值。 截断：支持日期类型和数值类型截断，将日期截断到月日小时分秒，将数值截断取整。 哈希：支持所有类型，使用所选的算法计算HASH值。 相较于内置算法，自定义算法新增了dws-SM3密码杂凑算法和通用-SM3密码杂凑算法。其中dws-SM3密码杂凑算法是DWS引擎专有算法，结果为16进制字符串，其字母为小写，要求DWS集群版本不低于8.1.3；通用-SM3密码杂凑算法为DLI或MRS引擎通用算法，结果为16进制字符串，其字母为大写。 加密：支持所有类型，使用所选的数据源加密算法为对应数据源的数据进行加密。 置空：支持所有类型，将值设置为null。 随机脱敏：支持日期类型和数值类型随机脱敏，将日期或数值脱敏为指定区间范围之内或样本库中的值。新建样本库的请参考管理样本库章节。注意，选择样本库脱敏时，OBS样本文件只能用于DLI引擎的静态脱敏任务，HDFS样本文件只能用于MRS引擎的静态脱敏任务。静态脱敏场景与引擎之间的对应关系请参考参考：静态脱敏场景介绍。 随机脱敏支持配置“随机算法保持原数据关联性”参数，开启后不同数据库中的相同数据，经过相同的规则脱敏后，脱敏结果是一致的。注意此参数开启后会存在被破解的安全风险，如确需开启，建议配置随机盐值，用于抵抗字典攻击。 字符替换：支持数值类型和字符类型字符替换，将指定位置的字符替换为固定值或者样本库中样本文件的值；自定义替换位置时支持使用随机数值或随机小写英文字母替换，并支持身份证号末位计算（计算身份证末位时，位数只能选择1，且前面位数需要大于等于17）。 新建样本库的请参考管理样本库章节。注意，选择样本库替换时，OBS样本文件只能用于DLI引擎的静态脱敏任务，HDFS样本文件只能用于MRS引擎的静态脱敏任务。静态脱敏场景与引擎之间的对应关系请参考参考：静态脱敏场景介绍。 随机脱敏支持配置“随机算法保持原数据关联性”参数，开启后不同数据库中的相同数据，经过相同的规则脱敏后，脱敏结果是一致的。注意此参数开启后会存在被破解的安全风险，如确需开启，建议配置随机盐值，用于抵抗字典攻击。 键值脱敏：支持数值类型键值脱敏，根据自定义表达式，将数值脱敏为计算后的数值。填写表达式时，原始数据变量为X，支持对原始数据进行加（+)减(-)乘(*)除(/)、括号(())、取余(%)计算操作。例如表达式为“((X*4+3)%100)/2-1”时，数值3的脱敏结果为6.5。 数值区间变换：支持数值类型区间变换，将指定区间之内的数字变换为指定值。 模糊脱敏：支持数值类型模糊脱敏，支持在百分比或绝对值模糊的区间范围内随机取值。例如百分比模糊模式，百分比分别为-10%和20%时，数值10的模糊脱敏结果为[9,12]区间范围内随机取值。 随机脱敏支持配置“随机算法保持原数据关联性”参数，开启后不同数据库中的相同数据，经过相同的规则脱敏后，脱敏结果是一致的。注意此参数开启后会存在被破解的安全风险，如确需开启，建议配置随机盐值，用于抵抗字典攻击。 开始测试 输入待测试的数据后，单击“测试”，可在测试结果处查看脱敏结果。 说明： 新建随机脱敏或字符替换类型的脱敏算法时，如果选择将敏感数据脱敏为样本库脱敏，则测试算法时限制样本文件大小不能超过10kb。 测试结果

相关操作 编辑算法：在脱敏算法页面，单击对应算法操作栏中的“编辑”，即可修改算法参数。 不同算法是否支持编辑和支持修改的参数因实际算法不同有所差异，请以操作界面为准。 测试算法：在脱敏算法页面，单击对应算法操作栏中的“测试”，即可测试该算法。 建议您在使用算法之前，使用算法测试功能，以保证自己选择了合适的算法。 不同算法是否支持测试因实际算法不同有所差异，请以操作界面为准。 删除算法：在脱敏算法页面，单击对应算法操作栏中的“删除”，即可删除算法。当需要批量删除时，可以在勾选算法后，在列表上方单击“批量删除”。 注意，内置算法不支持删除，已在脱敏策略或指定列脱敏中引用的自定义算法无法删除。若要删除已引用的自定义算法，需要先修改引用关系，再进行删除操作。 删除操作无法撤销，请谨慎操作。

约束与限制 新建随机脱敏或字符替换类型的脱敏算法时，如果选择将敏感数据脱敏为样本库脱敏，则测试算法时限制样本文件大小不能超过10kb。注意，10kb仅为算法测试功能的限制，静态脱敏时并不限制样本文件大小不超过10kb。 新建哈希类型的脱敏算法时，其中的dws-SM3密码杂凑算法是DWS引擎专有算法，结果为16进制字符串，其字母为小写，要求DWS集群版本不低于8.1.3。通用-SM3密码杂凑算法为DLI或MRS引擎通用算法，结果为16进制字符串，其字母为大写。

内置脱敏算法介绍 数据安全提供了如下内置脱敏算法供您选择使用。建议您在选择算法之前，可以使用预先提供的内置算法配置和测试功能，以保证自己选择了合适的算法。 表1 内置算法介绍 算法类型 内置算法名称 算法描述 是否支持配置 哈希 HMAC-SHA256哈希 使用HMAC-SHA256算法进行哈希处理。 支持配置盐值和密钥。 说明： 算法使用前必须先配置密钥，此算法才能正常使用。 算法盐值由您自行配置，而非系统给出的安全随机数，请关注相应使用风险。 SHA-256哈希 使用SHA-256算法进行哈希处理。 支持配置盐值。 说明： 算法盐值由您自行配置，而非系统给出的安全随机数，请关注相应使用风险。 截断 数值类型截断 保留小数点前x位，将小数点前第1到x-1位、小数点后的位数全部截断并填补为0。 例如x=3时，1234截断为1200，999.999截断为900，10.7截断为0。 支持配置保留小数点前几位。 日期类型截断 截断日期指定位置。 支持配置日期格式和掩盖范围。 掩码 dws指定列全掩码 dws指定数据列全脱敏。 仅当静态脱敏任务中源端、目标端数据源同为DWS，且执行引擎为DWS时才可以选择此算法。 不支持。 dws字符型掩码 从start到end的位置脱敏成指定的字符。 仅当静态脱敏任务中源端、目标端数据源同为DWS，且执行引擎为DWS时才可以选择此算法。 支持配置开始位置、结束位置和掩码标志。 dws数值型掩码 从start到end的位置脱敏成指定的数字。 仅当静态脱敏任务中源端、目标端数据源同为DWS，且执行引擎为DWS时才可以选择此算法。 支持配置开始位置、结束位置和掩码标志。 身份证号码掩码 掩码身份证号。 不支持。 银行卡号掩码 掩码银行卡号。 不支持。 Email掩码 掩码Email信息。 不支持。 移动设备标识掩码 对设备码进行掩码，支持IMEI、MEDI、ESN。 支持配置类型。 IPv6掩码 掩码IPv6地址。 不支持。 IPv4掩码 掩码IPv4地址。 不支持。 MAC地址掩码 掩码MAC地址。 不支持。 电话号码掩码 掩码电话号码。 不支持。 日期类型掩码 对指定日期格式进行掩码，支持ISO、EUR、USA格式。 支持配置日期格式和掩盖范围。 掩码自x至y 掩码字符串第x至y位字符。 支持配置x和y。 保留自x至y 保留字符串第x至y位字符。 支持配置x和y。 掩码前n后m 掩码字符串前n后m位字符。 支持配置n和m。 保留前n后m 保留字符串前n后m位字符。 支持配置n和m。 加密 dws列加密 调用GaussDB(DWS)提供的对称密码算法gs_encrypt_aes128(encryptstr,keystr)实现对DWS数据列的加密，此算法以keystr为密钥对encryptstr字符串进行加密，返回加密后的字符串。 算法注意事项如下： 仅当脱敏任务的目标源为DWS时，此算法才能正确生效。 加密后执行SQL解密时，必须当所有的数据都解密成功时，才能正确返回解密结果，否则解密失败。 支持配置密钥，长度范围为1~16字节。 说明： 算法使用前必须先配置密钥，此算法才能正常使用。 hive列加密 调用MRS提供的Hive列加密功能来实现对Hive数据列的加解密，支持AES和 SMS 4两种加密算法。 算法注意事项如下： 仅当脱敏任务的目标源为Hive时，此算法才能正确生效。 列加密只支持存储在HDFS上的TextFile和SequenceFile文件格式的表。 Hive列加密不支持视图以及Hive over HBase场景。 支持配置加密类型。

约束与限制 当前数据分类的最大层级数默认为5层，最大配额1000个。 仅DAYU Administrator、Tenant Administrator或者数据安全管理员可以创建、修改或删除数据密级、分类和识别规则，其他普通用户无权限操作。 当前支持在不同的父节点下创建同名的分类，但同一父节点下不能创建同名的分类。 导入预置数据分类时，需要先为所有的预置规则配置数据密级，才能导入预置数据分类。 导入预置数据分类时，会直接导入分类和对应的识别规则，与当前分类和规则同名的部分无法导入。 当父类下有子分类的时候，无法直接删除该父分类，需要先删除子分类。 被引用的数据分类无法直接删除，需要先解除引用关系后才能删除。

创建分类 在DataArts Studio控制台首页，选择对应工作空间的“数据安全”模块，进入数据安全页面。 单击数据安全左侧导航树中的“数据分类”，进入数据分类页面。 图1 进入数据分类 首次新建分类时，需要通过分类目录上方的 ，至少新增一个根目录层级分类。后续再新建分类时，可通过或，新增同级或子级分类。 单击或后，在弹出的新建分类窗口中，参考表1填写数据分类信息。 图2 新建数据分类 表1 参数设置 参数名 参数设置 *分类名称 分类名称只能包含中文、英文字母、数字和下划线。 描述 分类描述支持所有字符输入。

导入预置分类 在DataArts Studio控制台首页，选择对应工作空间的“数据安全”模块，进入数据安全页面。 单击数据安全左侧导航树中的“数据分类”，进入数据分类页面。 图3 进入数据分类 如果还没有新建的分类，可以单击“导入预置数据分类”，进入导入窗口。已有新建分类时，可通过单击，进入导入窗口。 在弹出的导入预置数据分类窗口中，勾选需要导入的数据分类，为待导入规则逐一配置数据密级或批量设置密级后，单击“确定”完成预置数据分类和规则的导入。 图4 导入预置数据分类

相关操作 编辑分类：在数据分类页面，先选择分类目录中需要修改的目录，然后单击分类目录上方的，即可修改分类名称和描述。 删除分类：在数据分类页面，先选择分类目录中需要删除的目录，然后单击分类目录上方的，即可删除分类。 另外，也支持通过编辑数据分类目录的方式删除分类。您可以单击分类目录上方的，在“编辑数据分类目录”页面删除分类。 当父类下有子分类的时候，无法直接删除该父分类，需要先删除子分类。 被引用的数据分类无法直接删除，需要先解除引用关系后才能删除。 删除操作无法撤销，请谨慎操作。 编辑数据分类目录：当需要整体编辑目录时，可以单击分类目录上方的，进入“编辑数据分类目录”页面。在“编辑数据分类目录”页面，支持新增子级分类，或删除分类。 删除操作无法撤销，请谨慎操作。

相关操作 编辑样本库分类：在样本库管理页面，单击目录上的，然后在光标移动到待编辑的分类上，单击后，编辑分类名。 删除样本库分类：在样本库管理页面，单击目录上的，然后在光标移动到待编辑的分类上，单击后，删除分类。 如果样本库分类下还存在样本，则不允许被删除。另外，“全部”根节点分类也不允许删除。 删除操作无法撤销，请谨慎操作。 编辑样本：在样本库管理页面，单击对应样本操作栏中的“编辑”，即可修改样本的各项参数。 删除样本：在样本库管理页面，单击对应样本操作栏中的“删除”，即可删除样本。 注意，被脱敏算法引用的样本不能被删除。若要删除已引用的样本，需要先修改引用关系，再进行删除操作。 删除操作无法撤销，请谨慎操作。

新建样本 在DataArts Studio控制台首页，选择对应工作空间的“数据安全”模块，进入数据安全页面。 单击左侧导航树中的“样本库”，进入样本库管理页面。 图1 进入样本库管理页面 在样本库管理页面，单击目录上的，然后在光标移动到目录上，单击后，输入分类名用于新增样本库分类。分类名称只能包含英文字母、数字、“_”，且长度不超过64个字符，超出部分将被截断。样本库分类最多支持10层（不包含“全部”层）。 图2 新增样本库分类 样本库分类创建完成后，在右侧点样本列表中单击“新建”，新建样本。新建样本时，默认填充分类为左侧选中的分类。 图3 新建样本 在弹出的新建窗口中填写样本信息，参考表1完成配置。配置完成后单击“确定”即可。 图4 新建样本窗口 表1 新建样本参数配置 参数 参数描述 *名称 样本名称，只能包含英文字母、数字、“_”，且长度不能超过64个字符，超出部分将被截断。 描述 为更好地识别样本，此处加以描述信息，长度不能超过1024个字符。 *分类 默认填充分类为左侧选中的样本分类，您也可以单击选择已有分类。 *选择样本 选择已上传至OBS或HDFS中的样本文件。样本文件只支持txt格式，大小建议不超过10MB，其中的数据可通过换行“\n”、空格“ ”、英文逗号“,”、或分隔符“|”进行分隔。 注意，OBS样本文件只能用于DLI引擎的静态脱敏任务，HDFS样本文件只能用于MRS引擎的静态脱敏任务。静态脱敏场景与引擎之间的对应关系请参考参考：静态脱敏场景介绍。 *分隔符 选择样本文件中数据的分隔符，可选择换行“\n”、空格“ ”、英文逗号“,”、或分隔符“|”。

约束与限制 新建随机脱敏或字符替换类型的脱敏算法时，如果选择将敏感数据脱敏为样本库脱敏，则测试算法时限制样本文件大小不能超过10kb。注意，10kb仅为算法测试功能的限制，静态脱敏时并不限制样本文件大小不超过10kb。 样本文件大小建议不超过10MB，否则运行需要解析样本文件的静态脱敏任务时，静态脱敏任务可能会失败。 OBS样本文件只能用于DLI引擎的静态脱敏任务，HDFS样本文件只能用于MRS引擎的静态脱敏任务。静态脱敏场景与引擎之间的对应关系请参考参考：静态脱敏场景介绍。

创建数据水印溯源任务 在DataArts Studio控制台首页，选择对应工作空间的“数据安全”模块，进入数据安全页面。 单击左侧导航树中的“数据水印溯源”，进入数据水印溯源页面，在页面上方单击“新建”。 图1 创建数据水印溯源任务 在弹出的创建任务页面输入信息，参数配置请参考表1。 图2 创建数据水印溯源任务 表1 水印溯源任务参数描述 参数名 参数描述 任务名称 嵌入水印任务的名称，只能包含英文字母、数字、中文字符、下划线或中划线，且长度为1~64个字符。 描述 为更好地识别嵌入水印任务，此处加以描述信息。长度不能超过1024个字符。 源文件 得到泄露的数据文件后，利用其生成CSV格式文件，注意文件大小不超过20MB。 字段分隔符 根据上传的CSV文件，下拉选择分隔符，支持四种“,”、“Tab”、“|”、“;”。默认选择“,”。 单击“运行”，完成创建数据水印溯源任务。