云服务器内容精选

  • 响应示例 { "job": { "JOB_ID": "JOB474362ef-091d-429f-9b3e-c9246b37dee6", "JOB_NAME": "provision/provMain", "JOB_TYPE": "PROVISION", "SERVICE_INSTANCE_ID": "429a35a0-dee8-4648-86f6-d1f8bc74ba52", "PROJECT_ID": "063a3158b1a34710b36ad208b9497d00", "ORDER_ID": "", "JOB_DESC": "provision/provMain", "EXECUTION_STATUS": "FAILED", "CREATED_BY": "585cc5c16cda4954b28d4eb460f06261" }, "tasks": [ { "MESSAGES": "{}", "TASK_ID": "Task-bc64b46c-1688-4787-b7ff-87cb53b346ea", "TASK_TYPE": "echo", "TASK_INDEX": 1, "TASK_NAME": "SEPARATOR_PREPARE_RESOUR CES ", "TASK_STATUS": "SUCCEEDED", "LAST_HEALTH_CHECK": "2020-02-04T04:01:03.344Z", "CREATED_AT": "2020-02-04T04:01:03.344Z", "OWNER_ID": "cas-mgr-69bb87d7c-wpqwb:30114" }, { "MESSAGES": "{}", "TASK_ID": "Task-15ec252f-bca0-401e-ae5b-798a639df92e", "TASK_TYPE": "echo", "TASK_INDEX": 4, "TASK_NAME": "SEPARATOR_BUILDING", "TASK_STATUS": "SUCCEEDED", "LAST_HEALTH_CHECK": "2020-02-04T04:01:03.346Z", "CREATED_AT": "2020-02-04T04:01:03.345Z", "OWNER_ID": "cas-mgr-69bb87d7c-wpqwb:30114" }, { "MESSAGES": "{}", "TASK_ID": "Task-52a5d1ae-2c54-46ec-8134-53e7b6a45fb7", "TASK_TYPE": "restful", "TASK_INDEX": 6, "TASK_NAME": "TN00091", "TASK_STATUS": "SUCCEEDED", "LAST_HEALTH_CHECK": "2020-02-04T04:01:08.924Z", "CREATED_AT": "2020-02-04T04:01:03.346Z", "OWNER_ID": "cas-mgr-69bb87d7c-wpqwb:30114" }, { "MESSAGES": "{}", "TASK_ID": "Task-a149b585-d31b-4c72-a665-d820efcb0bf9", "TASK_TYPE": "restful", "TASK_INDEX": 7, "TASK_NAME": "TN00094", "TASK_STATUS": "SUCCEEDED", "LAST_HEALTH_CHECK": "2020-02-04T04:01:08.961Z", "CREATED_AT": "2020-02-04T04:01:08.925Z", "OWNER_ID": "cas-mgr-69bb87d7c-wpqwb:30114" }, { "MESSAGES": "{ \"Message\" : \"ECC00011\", \"Detail\" : \"Building failed.\" }", "TASK_ID": "Task-a72fe8d8-8cc1-42b5-a097-0cf9e29692a7", "TASK_TYPE": "restful", "TASK_INDEX": 9, "TASK_NAME": "TN00097", "TASK_STATUS": "FAILED", "LAST_HEALTH_CHECK": "2020-02-04T04:01:38.975Z", "CREATED_AT": "2020-02-04T04:01:08.962Z", "OWNER_ID": "cas-mgr-69bb87d7c-wpqwb:30114" } ], "task_count": 5 }
  • URI GET /v2/{project_id}/cas/jobs/{job_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 租户项目ID。获取方法,请参考获取项目ID。 job_id 是 String 部署任务ID,为创建组件实例接口响应参数的job_id。 表2 查询参数 参数 是否必选 参数类型 描述 instance_id 否 String 应用组件实例ID。获取方法,请参考获取组件实例。 limit 否 Integer 指定个数。 offset 否 Integer 指定偏移量。 desc 否 String 是否降序: true=desc,false=asc。
  • 约束限制 审核对象仅支持:Table、View、Sequence、Index、Function、Procedure、Trigger、Package。 一次审核Schema的数量不超过10000。 审核数据库过程中,避免对正在审核的数据库对象进行删除等操作,影响审核结果。 如果使用系统模板进行审核时,新版本升级结束后,再次重试或者同数据源审核,会导致审核结果不一致。为避免此现象发生,建议使用自定义模板。
  • 调优配置方法 在“异常检测”页面,单击异常检测任务所在行“操作”列的“模型”,默认显示“算法配置”页签,参考表1配置参数。 表1 算法配置参数说明 算法类型 参数名称 参数含义 取值范围 参数说明 配置建议 boxplot_ad动态阈值算法 sensitivity 敏感度 0-10 默认值5 敏感度参数越高,阈值线越紧;敏感度参数越低,阈值线越松。 敏感度参数最高不超过5.5,最低不低于3.5;一般配置4.5或者5。 请求量指标因为使用了新的算法,敏感度可以在0.5—5之间调节。 时延、请求量、速率类指标敏感度每降低0.5,阈值线相对浮动3%,绝对浮动3。 成功率、失败率指标敏感度每降低0.5,阈值线相对浮动0.3%,绝对浮动0.3%。 low_count_threshold 小请求量 0- 100000000 默认值0 请求量低于此参数值时毛刺告警、波动性不生效;其他类型的告警依然生效。 如果毛刺告警较多,可以配置该参数。 count_threshold 请求量保护 0-100000000 默认值100000000 请求量低于此参数值时,完全不告警。 一般情况下不建议配置,请谨慎配置,且对请求量类指标不生效。 no_model_threshold_upper 无模型阈值上限 0-100000000 默认值100000000 无模型时配置的阈值上限(固定阈值线)。 对于新增的接口,因为没有历史数据,无法训练出该接口的模型,此时可以配置合适的值用来监控此类接口。 no_model_threshold_lower 无模型阈值下限 0-100000000 默认值0 无模型时配置的阈值下限(固定阈值线)。 对于新增的接口,因为没有历史数据,无法训练出该接口的模型,此时可以配置合适的值用来监控此类接口。 alert_by_std 波动性告警 True/False 默认为True 非请求量类指标参数,通过该参数设置是否引入波动性告警。 - alert_by_chain 突变告警 True/False 默认为True 请求量类指标参数,通过该参数设置是否引入突变告警。 - alert_by_drop_to_0 长时间掉0告警 True/False 默认为True 请求量类指标参数,通过该参数设置是否引入长时间掉0告警。 - alert_by_spikes 毛刺告警 True/False 默认为True 所有指标参数,通过该参数设置是否引入毛刺告警。 - small_sample_threshold brand算法阈值 0-1000000 默认值100 brand算法阈值,小于该阈值, 则使用brand算法,否则使用boxplot算法。 - fixed_threshold固定阈值算法 filled_value 补充值 0-100000000 默认值1 缺值时补值,补值不会产生告警,只用于前端展示。(必填值,与指标类型同等重要) 成功率指标填1;失败率填0;时延填合适的值(比上阈值线小即可);速率填合适的值(比下阈值线大即可);请求量类型保持默认值即可。 threshold_upper 阈值上限 0-100000000 默认值100000000 配置的固定阈值上限。 - threshold_lower 阈值下限 0-100000000 默认值100000000 配置的固定阈值下限。 - annomaly_in_mins 告警进入时间 0-30 默认10分钟 告警进入时间,单位分钟。 - annomaly_out_mins 告警退出时间 0-30 默认10分钟 告警退出时间,单位分钟。 - count_threshold 请求量保护参数 0-100000000 默认值0 请求量保护参数,低于这个值不告警;对请求量类型指标不生效。 -
  • 调优策略 最常见告警 长时间低(高)于阈值线告警,如图1所示。 图1 常见告警 告警进入条件:一般8分钟内有7个点异常告警进入。 告警退出条件:20分钟内有18个点正常则告警退出。 调优方法: 调节sensitivity敏感度参数,可以使小幅度下降的异常不告警,针对阈值线过紧的情况,图1的异常通过敏感度调节不了,因为阈值线相对是合理的 配置count_threshold参数,如果不关注请求量很少的异常,可以配置该参数,建议非必要情况下不要配置该参数,可能会出现遗漏告警的情况。 毛刺告警 两三个显著的毛刺点异常,如图2所示。 图2 毛刺告警 告警进入条件:穿过阈值线的毛刺异常程度,最快在第2个毛刺点告警。 告警退出条件:20分钟内有18个点正常则告警退出。 调优方法: 如果对请求量很少的接口,毛刺异常不关注,可以配置low_count_threshold参数,如图2中告警的曲线请求量不超过30,可以配置改参数为30。 如果不管请求量多少,都不需要毛刺类告警,则可以配置alert_by_spikes参数。毛刺类告警最快可以将告警时间缩短为2分钟,如果屏蔽掉这类告警,则按照其他的告警类型会有一定的延迟(一般7分钟)。 突变告警 突变告警只针对请求量类指标,特点是请求量曲线发生突变(突增或者突降)同时指标曲线没有触及阈值线,如图3所示。 图3 突变告警 告警进入条件:局部看曲线发生突变(默认突变20%),或者长期看相比历史降低或升高。 告警退出条件:数据平稳后告警退出,一般会持续18分钟。 调优方法: 通过配置alert_by_chain参数可以控制是否加入突变检测。突变告警可以防止阈值线学习宽松条件下指标突变的漏告警,但对于不关注阈值线之上数据突变的指标会产生一些不必要的告警。 波动性告警 波动性告警只针对非请求量类指标,这类告警的特点是指标曲线没有触及阈值线,如图4所示。 图4 波动性告警 告警进入条件:局部看曲线波动变大,或者长期看相比历史数据持续降低或升高。 告警退出条件:数据恢复到历史同期水平,持续18分钟则告警退出。 调优方法: 对于小幅度的波动和下降(上升)告警可以通过调节sensitivity敏感度来减少部分告警。 如果不关注这类异常,可以通过配置alert_by_std参数来实现。波动性告警可以防止阈值线学习宽松条件下指标小幅波动的漏告警,但对于不关注阈值线之上数据波动的指标会产生一些不必要的告警。 长时间掉0告警 长时间掉0告警只针对请求量类指标,特点是阈值线为0,测量值长时间掉0,如图5所示。 图5 长时间掉0告警 告警进入条件:历史同时期没有掉0,或者掉0时间持续28分钟。 告警退出条件:数据恢复到正常水平则告警退出。 调优方法: 如果这类告警频繁出现,可以通过配置alert_by_drop_to_0参数屏蔽。长时间掉0告警可以防止阈值线为零的情况下指标长时间掉零的漏告警。
  • 更多操作 您还可以对已创建的日志清理作业进行以下操作。 表2 相关操作 操作名称 操作步骤 停用日志清理作业 在日志清理作业列表中,单击日志清理作业所在行“启用”列的,当变为时,表示已停用该作业。 启用日志清理作业 在日志清理作业列表中,单击日志清理作业所在行“启用”列的,当变为时,表示已启用该作业。 查看执行历史 在定时作业列表中,单击日志清理作业所在行“操作”列的“执行历史”,进入“作业清单”页面查看执行历史。 编辑日志清理作业 在定时作业列表中,单击日志清理作业所在行“操作”列的“编辑”。 编辑日志清理作业信息,单击“保存”。 说明: 启用中的作业不支持编辑,要停用作业后才能编辑。 删除日志清理作业 在日志清理作业列表中,单击日志清理作业所在行“操作”列的“删除”。 单击“确定”。 说明: 启用中的作业不支持删除,要停用作业后才能删除。
  • 新建图形化构建任务 通过项目入口方式访问CodeArts Build服务首页。 单击“新建任务”,进入配置“基本信息”页面,参考表1填写构建任务基本信息。然后单击“下一步”,进入“构建模板”页面。 表1 基本信息配置说明 参数 说明 名称 创建的编译构建任务名称,可自定义。 支持中英文,数字,下划线“_”和连接符“-”。 字符长度范围为1~115。 所属项目 创建的编译构建任务所属项目。 以项目入口方式访问访问编译构建服务时默认填写,无需手动填写。 以服务入口访问时需根据实际情况选择新建构建任务前准备工作中创建的项目。 代码源 选择实际需要编译的代码源。 Repo:从 代码托管服务 拉取代码进行构建。 其他项目Repo:从其他项目的代码托管中拉取代码进行构建,请选择已有的项目、该项目下已经创建的代码仓以及默认分支。 来自流水线:如果选择来自流水线,则只能通过流水线任务驱动执行,不能单独执行。 以下为非CodeArts的第三方代码仓库。 GitHub:拉取托管在GitHub上的代码进行构建。 通用Git:拉取托管在其他服务上的代码进行构建。 GitCode:拉取托管在GitCode仓库上的代码进行构建。 码云:拉取托管在码云上的代码进行构建。 Gerrit:拉取托管在Gerrit上的代码进行构建。 服务扩展点 可选参数。当“代码源”选择为第三方代码仓时需要配置,首次使用第三方代码仓,需新建服务扩展点。新建步骤可参考新建CodeArts服务扩展点。 代码仓 选择实际需要编译的代码仓。 默认分支 选择仓库默认分支。 描述 可选参数。根据实际场景对编译构建任务的描述。字符长度范围0~512。 CodeArts Build内置30+种构建模板,您可以根据实际需要选择构建模板,选择后单击“确定”,构建任务即可新建完成。 也可以选择“空白构建模板”,然后在配置构建任务时添加实际使用的构建步骤。 如果预置模板不满足使用要求,也可以自定义模板。 页面自动跳转到“构建步骤”页面,可继续配置构建任务。
  • 自定义规则 最多支持创建10条自定义规则。 使用自定义规则扫描代码最多支持扫描10万行。仅适用于使用的规则集中只包含自定义规则。 使用自定义规则扫描10万行代码行最多时长1.5小时。仅适用于使用的规则集中只包含自定义规则。 如果需要支持扫描更多行数的代码或需要创建更多数量的规则,可咨询华为技术支持。 单击“规则”页签。 单击“新建规则”,参考表1配置参数。 表1 自定义规则参数配置说明 参数名称 参数说明 是否必填 规则名称 创建的规则名称,可自定义。 支持中英文,数字,点,下划线“_”和连接符“-” 字符长度范围为1~128 是 工具规则名称 默认填充为规则源码文件名,不可手动修改。 是 检查工具 该检查规则使用的检查工具,当前仅支持SecBrella。 是 语言 该规则检查的编译语言,当前仅支持Java。 是 规则源码 该规则的源码文件。 由用户创建“.kirin”文件编写dsl规则,然后通过运行本地插件在“OutputReport”目录下生成“SecH_自定义规则名.json”的源码文件,上传json文件即可。使用插件生成规则文件可参考插件使用指南。 是 严重级别 该规则检查出的代码问题的严重级别,分为致命、严重、一般和提示。 是 标签 为该规则设置标签,便于使用时区分该规则使用场景。 添加多个标签时,需使用英文逗号分隔。 否 描述 对该规则的使用描述。如果描述的内容需要粘贴代码,代码内容支持MarkDown格式。字符数限制为0~10000。 是 正确示例 该规则对应的正确代码示例。代码内容支持使用MarkDown格式呈现。字符数限制为0~10000。 否 错误示例 不满足该规则的错误代码示例。代码内容支持使用MarkDown格式呈现。字符数限制为0~10000。 否 修复建议 对于该规则检查出的问题修改建议。如果修复建议中需要粘贴代码,代码内容支持MarkDown格式。字符数限制为0~10000。 否 单击“新建规则”,完成创建。
  • 创建自定义检查规则集 基于项目入口访问CodeArts Check服务首页。 单击“规则集”页签,进入规则集列表页面。 单击“新建规则集”,在弹出的“新建规则集”窗口设置规则集名称、描述以及检查语言。 您也可以单击“复制于”下拉框选择复制于已有的规则集,基于复制的规则集配置使用的规则。 单击“确定”。 根据需要勾选规则名称、设置规则级别,单击右上角“保存”。 如果系统预置的规则不满足用户的使用要求,可自定义规则使用。 单击规则集名称,进入规则集详情页面可在线查看规则集中使用的规则详情。 单击规则集名称,进入规则集详情页面,单击“导出”按钮可导出该规则集中已启用的规则到本地查看规则详情。 单击规则集名称,进入规则集详情页面,单击“修改基本信息”,可修改规则集名称或描述信息。 “检查语言”不支持修改。 系统预置规则集无法修改。 只有创建者可以修改自定义规则集。 单击规则集所在行的,选择“删除”即可删除检查规则集。 只有创建者可以删除自定义规则集。 系统规则集和已被使用的自定义规则集无法删除。 如果需要删除已被使用的规则集,需将关联使用该规则集的代码检查任务删除或将代码检查任务关联到其它规则集。
  • 相关操作 同步策略:在动态脱敏页面,单击对应任务操作栏中的“同步”,即可将该策略同步到数据源中。当需要批量同步时,可以在勾选策略后,在列表上方单击“同步”。 只有处于“同步成功”状态的策略才能生效。如果策略同步失败,可通过查看策略详情查看策略运行日志,通过日志排查同步失败原因。待问题修复后请重新同步,如果仍同步失败,请联系技术支持人员协助处理。 编辑策略:在动态脱敏页面,单击对应任务操作栏中的“编辑”,即可编辑动态脱敏策略。 删除策略:在动态脱敏页面,单击对应任务操作栏中的“删除”,在弹窗中再次确认后,即可删除策略。当需要批量删除时,可以在勾选策略后,在列表上方单击“删除”。 动态脱敏策略删除后将被转移至回收站中,您可以在30天内进行还原,在回收站中超过30天的数据将被自动删除。详见管理回收站章节。 查看策略详情:在动态脱敏页面,通过同步状态筛选策略或直接找到需要查看的策略,单击策略名即可查看策略详情。 图3 查看策略详情
  • 参考:动态脱敏规则介绍 MRS Hive动态脱敏规则由MRS Ranger组件提供,当前支持的规则如表2所示。 MRS Hive数据源的“SM3”、“自定义/保留前x后y”和“自定义/掩盖前x后y”这三种脱敏规则非MRS Ranger组件提供,而是通过UDF自定义函数实现的算法。因此如果使用这三种脱敏规则之一,则会上传算法依赖的JAR包到MRS集群,并需要提前授予Ranger数据连接中账号的创建UDF权限以及所有用户的使用UDF权限,详见参考:配置Ranger组件中的UDF相关权限。 DWS动态脱敏规则由DWS提供,当前支持的规则如表3所示。 表2 MRS动态脱敏规则 数据类型 脱敏规则 掩盖英文字符和数字 保留后四位 保留前四位 哈希掩盖 掩盖月份和日期 NULL掩盖 SM3 自定义/保留前x后y 自定义/掩盖前x后y TINYINT 位数不变,将数值全部替换为1 无变化,最大值为127 无变化,最小值为-128 值变为NULL 位数不变,将数值全部替换为1 值变为NULL 不支持 不支持 不支持 SMALLINT 位数不变,将数值全部替换为1 无变化,最大值为12767 无变化,最大值为-32768 值变为NULL 位数不变,将数值全部替换为1 值变为NULL 不支持 不支持 不支持 INT 位数不变,将数值全部替换为1 保留后四位 保留前四位 值变为NULL 位数不变,将数值全部替换为1 值变为NULL 不支持 不支持 不支持 BIGINT 位数不变,将数值全部替换为1 保留后四位 保留前四位 值变为NULL 位数不变,将数值全部替换为1 值变为NULL 不支持 不支持 不支持 BOOLEAN 值变为NULL 值变为NULL 值变为NULL 值变为NULL 值变为NULL 值变为NULL 不支持 不支持 不支持 FLOAT 值变为NULL 值变为NULL 值变为NULL 值变为NULL 值变为NULL 值变为NULL 不支持 不支持 不支持 DOUBLE 值变为NULL 值变为NULL 值变为NULL 值变为NULL 值变为NULL 值变为NULL 不支持 不支持 不支持 STRING 英文字母变为x,数字变为n 中文无变化,字母等变为X 中文无变化且占一位,字母等变为X 全部被hash到64长度 中文无变化且占一位,字母等变为X 值变为NULL SM3算法加密 保留前x后y 掩盖前x后y TIMESTAMP 值变为NULL 值变为NULL 值变为NULL 值变为NULL 值变为NULL 值变为NULL 不支持 不支持 不支持 CHAR 英文字母变为x,数字变为n 字母数字变为X,后面4位保留(定长有空格) 字母数字变为X,前面4位保留(定长有空格) 全部被hash到64长度 中文无变化且占一位,字母等变为X 值变为NULL SM3算法加密 保留前x后y 掩盖前x后y VARCHAR 英文字母变为x,数字变为n 后四位被保留(中文无变化且占一位),字母等变为X 前四位被保留(中文无变化且占一位)字母等变为X 全部被hash到64长度 中文无变化且占一位,字母等变为X 值变为NULL SM3算法加密 保留前x后y 掩盖前x后y DATE 年月日变为0001-01-01 年月日变为0001-01-01 年月日变为0001-01-01 值变为NULL year保留,其他数值变为01 值变为NULL 不支持 不支持 不支持 表3 DWS动态脱敏规则 数据类型 脱敏规则 全掩码 保留后4位,其余脱敏为‘*’ 保留前2位,其余脱敏为‘*’ 自定义 字符类型 bpchar、varchar、text、inet、macaddr、uuid、char、txt 全部脱敏为空。 后四位被保留,其余脱敏为“*” 前两位被保留,其余脱敏为“*” 自定义脱敏开始和结束位置,脱敏字符 数值类型 numeric、int2、int8、money、float8、float4、interval、decimal、double precision、real、integer、smallint、bigint 全部脱敏为“0” 不支持 不支持 自定义脱敏开始和结束位置,脱敏字符 时间类型 timestamp、time、timetz、timestamptz、date、time without time zone、timestamp without time zone、time without time zone、timestamp without time zone 全部脱敏为固定值 不支持 不支持 自定义勾选脱敏目标为年、月、日等 其他类型 全部脱敏为固定值 不支持 不支持 不支持
  • 约束与限制 仅DAYU Administrator、Tenant Administrator用户或者数据安全管理员可以创建、修改或删除动态脱敏策略,其他普通用户无权限操作。 MRS Hive和DWS动态脱敏策略为指定用户/用户组在数据源上关联策略,因此需要如果希望在 DataArts Studio 数据开发执行脚本、测试运行作业时,使用当前用户身份认证鉴权以实现动态脱敏策略生效,则需要启用细粒度认证。 当前动态脱敏策略仅支持MRS Hive和DWS数据源。 单条动态脱敏策略的配置维度为表级别,即一个表只允许绑定一个策略,一个策略也是只允许绑定一个表。只有处于“同步成功”状态的策略才能生效。 MRS Hive动态脱敏时,MRS Ranger支持对同一列配置不同规则,按照配置的时间顺序先后匹配,因此可以配置多条同集群、同库表列的不同内容的脱敏策略。 当前MRS服务支持的脱敏规则如表2所示,但对中文字符仅支持NULL掩盖和哈希掩盖两种脱敏方式,如果选择其他脱敏方式则脱敏不生效。 MRS Hive数据源的“SM3”、“自定义/保留前x后y”和“自定义/掩盖前x后y”这三种脱敏规则非MRS Ranger组件提供,而是通过UDF自定义函数实现的算法。因此如果使用这三种脱敏规则之一,则会上传算法依赖的JAR包到MRS集群,并需要提前授予Ranger数据连接中账号的创建UDF权限以及所有用户的使用UDF权限,详见参考:配置Ranger组件中的UDF相关权限。 DWS动态脱敏不支持DWS逻辑集群,脱敏前需启用DWS动态脱敏能力(修改DWS集群“feature_support_options”参数的CN参数值和DN参数值均为“enable_data_redaction”,修改操作详见修改数据库参数),且DWS数据连接中的账户要具备待脱敏表的GRANT权限(数据库对象创建后,默认只有对象所有者或者系统管理员可以通过GRANT命令将对象的权限授予其他用户)。 当前DWS服务支持的脱敏规则如表3所示,不支持中文脱敏,如果对含有中文字符的数据进行脱敏则可能会出现乱码。
  • 前提条件 新建MRS Hive脱敏策略前,已完成如下操作: 在管理中心创建 MapReduce服务 (MRS Ranger)类型的数据连接,请参考创建DataArts Studio数据连接。 已完成用户同步,将 IAM 上的用户信息同步到数据源上,详见同步IAM用户到数据源。 新建DWS脱敏策略前,已完成如下操作: 已在管理中心创建 数据仓库 服务(DWS)类型的数据连接,请参考创建DataArts Studio数据连接。 已完成用户同步,将IAM上的用户信息同步到数据源上,详见同步IAM用户到数据源。 已修改DWS集群“feature_support_options”参数的CN参数值和DN参数值均为“enable_data_redaction”,用于启用DWS动态脱敏能力,修改操作详见 修改数据库参数。 数据连接中的账户要具备待控制表的GRANT权限(数据库对象创建后,默认只有对象所有者或者系统管理员可以通过GRANT命令将对象的权限授予其他用户)。 MRS Hive和DWS动态脱敏策略为指定用户/用户组在数据源上关联策略,因此需要如果希望在DataArts Studio数据开发执行脚本、测试运行作业时,使用当前用户身份认证鉴权以实现动态脱敏策略生效,则需要启用细粒度认证。 如果希望创建脱敏策略时能够查看哪些字段为敏感字段,则需要提前完成敏感数据发现任务,并通过“敏感数据分布”修正敏感数据字段的数据状态为“有效”。详情请参考发现敏感数据和查看敏感数据分布。
  • 创建动态脱敏策略 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击左侧导航树中的“动态脱敏”,进入动态脱敏页面。 图1 进入动态脱敏页面 单击“新建”,进入新建动态脱敏策略页面,参数配置参考表1。 图2 新建动态脱敏策略参数配置 创建动态脱敏策略参数配置说明: 表1 配置策略参数 参数名 参数说明 *策略名称 动态脱敏策略的唯一标识,DataArts Studio实例内的名称唯一。 为便于策略管理,建议名称中标明要脱敏的对象和脱敏规则。 *数据源类型 当前支持MRS Hive、DWS数据源。 MRS Hive *用户组/用户 指定当前工作空间成员中的用户或用户组。当指定对象在数据开发组件中查询或导出敏感数据时,系统会对敏感数据进行动态脱敏,保护敏感数据不被泄露。 *数据连接 从下拉列表中选择数据连接类型中已创建的数据连接,若未创建请参考创建DataArts Studio数据连接新建连接。 *集群名称 无需选择,自动匹配数据连接中的数据源集群。 *数据库 选择敏感数据所在的数据库。 *数据表 选择敏感数据所在的数据表。 *数据列 您需要勾选一个或多个待脱敏列,并根据不同数据列的数据类型,选择合适的脱敏规则。各类数据源中不同数据类型支持的脱敏规则不同,详见参考:动态脱敏规则介绍。 另外,如果选中的库表列有进行过敏感数据发现并且敏感数据字段的数据状态为“有效”,则将密级和数据分类显示在数据列区域中。 DWS *用户组/用户 指定当前工作空间成员中的用户或用户组。当指定对象在数据开发组件中查询或导出敏感数据时,系统会对敏感数据进行动态脱敏,保护敏感数据不被泄露。 *数据连接 从下拉列表中选择数据连接类型中已创建的数据连接,若未创建请参考创建DataArts Studio数据连接新建连接。 *集群名称 无需选择,自动匹配数据连接中的数据源集群。 *数据库 选择敏感数据所在的数据库。 *schema 选择敏感数据所在的schema。 *数据表 选择敏感数据所在的数据表。 *数据列 您需要勾选一个或多个待脱敏列,并根据不同数据列的数据类型,选择合适的脱敏规则。各类数据源中不同数据类型支持的脱敏规则不同,详见参考:动态脱敏规则介绍。 另外,如果选中的库表列有进行过敏感数据发现并且敏感数据字段的数据状态为“有效”,则将密级和数据分类显示在数据列区域中。 单击“确定”,完成动态脱敏策略创建。动态脱敏策略创建完成后,需要手动单击“同步”,将该策略同步到数据源中。
  • 新建脱敏策略 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击左侧导航树中的“脱敏策略”,进入脱敏策略页面,在页面上方单击“新建”,创建脱敏策略。 图1 创建脱敏策略 在弹出的新建脱敏页面中填写策略信息,参考表1完成配置。配置完成后单击“确定”即可。 图2 创建脱敏策略界面 表1 创建脱敏策略参数配置 参数 参数描述 *策略名称 用户自定义策略名称,只能包含英文字母、数字、“_”,且长度不能超过64个字符。 描述 为更好地识别脱敏策略,此处加以描述信息,长度不能超过255个字符。 *状态 开启状态表示该策略可供使用。关闭状态表示该策略不能被使用。 *识别规则和脱敏算法 选择敏感数据的识别规则,以及对应的脱敏算法。 *识别规则:选择已经定义的数据识别规则,详情请参考定义识别规则。 规则描述:增加相应规则描述。 *算法类型:下拉选择算法类型,详情请参考表1。 *脱敏算法:下拉选择脱敏算法类型关联的算法,详情请参考表1。 说明: 如下算法在使用前必须先在脱敏算法处配置密钥,才能正常使用。 哈希算法中的“HMAC-SHA256哈希”算法。 加密算法中的“dws列加密”算法。 不同脱敏算法的更多使用限制,请参考管理脱敏算法。