-
管理脱敏算法 - 数据治理中心 DataArts Studio
对当前算法进行简单描述,长度不能超过255个字符。 *算法模板 算法模板基于已有内置算法模板,对算法进行自定义。可选的算法类型和算法请参考内置脱敏算法介绍。 相关操作 编辑算法:在脱敏算法页面,单击对应算法操作栏中的“编辑”,即可修改算法参数。 不同算法是否支持编辑和支持修改的参数因实际算法不同有所差异,请以操作界面为准。
-
管理静态脱敏任务 - 数据治理中心 DataArts Studio
说明: 如下算法在使用前必须先在脱敏算法处配置密钥,才能正常使用。 哈希算法中的“HMAC-SHA256哈希”算法。 加密算法中的“dws列加密”算法。 不同脱敏算法的更多使用限制,请参考管理脱敏算法。 *数据集范围 只有使用时间字段timestamp、Date来确定增量范围时,才可以选择增量模式。
-
如何最小化授权用户使用DataArts Studio - 数据治理中心 DataArts Studio
如何最小化授权用户使用DataArts Studio 实践场景及目标 某数据运营工程师专职负责数据质量监控相关工作,仅需要服务数据质量组件的操作权限。 图1 权限体系 服务的权限体系如图1所示。如果项目管理员直接赋予该数据运营工程师IAM账号“DAYU User系统角色+工作空间开发者角色”权限,则会出现如下非必需权限过大的风险:
-
迁移文件时加解密 - 数据治理中心 DataArts Studio
方式: AES-256-GCM加密 KMS加密 AES-256-GCM加密 目前只支持AES-256-GCM(NoPadding)。该加密算法在目的端为加密,在源端为解密,支持的源端与目的端数据源如下。 源端支持的数据源:HDFS(使用二进制格式传输时支持)。 目的端支持的数据源
-
迁移文件时加解密 - 数据治理中心 DataArts Studio
方式: AES-256-GCM加密 KMS加密 AES-256-GCM加密 目前只支持AES-256-GCM(NoPadding)。该加密算法在目的端为加密,在源端为解密,支持的源端与目的端数据源如下。 源端支持的数据源:HDFS(使用二进制格式传输时支持)。 目的端支持的数据源
-
管理脱敏策略 - 数据治理中心 DataArts Studio
说明: 如下算法在使用前必须先在脱敏算法处配置密钥,才能正常使用。 哈希算法中的“HMAC-SHA256哈希”算法。 加密算法中的“dws列加密”算法。 不同脱敏算法的更多使用限制,请参考管理脱敏算法。 相关操作 编辑脱敏策略:在脱敏策略页面,单击对应策略操作栏中的“编辑”,即可修改脱敏策略各项参数。
-
数据安全概述 - 数据治理中心 DataArts Studio
数据安全概述 数据安全以数据为中心,基于数据动态流动场景,构建全链路数据湖安全的解决方案,全方位保障数据湖安全,以此满足不同角色(如数据开发工程师,数据安全管理员,数据安全审计员和数据安全运营人员)对数据安全和数据治理的诉求。 图1 DataArts Studio数据安全框架 资源主
-
新建原子指标 - 数据治理中心 DataArts Studio
新建原子指标 原子指标是对指标统计逻辑、具体算法的一个抽象。为了从根源上解决定义、研发不一致的问题,指标定义明确设计统计逻辑(即计算逻辑),不需要ETL二次或者重复研发,从而提升了研发效率,也保证了统计结果的一致性。 原子指标:原子指标中的度量和属性来源于多维模型中的维度表和事实
-
脱敏策略 - 数据治理中心 DataArts Studio
”。 绑定分类规则,配置脱敏算法并适配对应的算法类型。脱敏算法包含掩码,截断和哈希。每种脱敏算法对应多种算法类型,请根据产品界面进行选择,这里不再赘述。配置完成后单击“确定”。 已被绑定脱敏算法的分类规则不支持被重复绑定。 图1 新建脱敏 适配脱敏算法后,支持用户在线进行测试。输
-
(可选)自定义工作空间角色 - 数据治理中心 DataArts Studio
自定义角色完成后,请您参考添加工作空间成员和角色,将数据运营工程师设置为自定义角色“Developer_DataService”。 示例二 某项目数据开发工程师通过DataArts Studio进行数据开发工作,被项目管理员赋予了“开发者”的预置角色。但该数据开发工程师还需要修改数据架构的配置中心的DDL
-
C# - 数据治理中心 DataArts Studio
实现签名算法的共享库,可用于.Net Framework与.Net Core项目。 backend-signature:后端服务签名示例。 sdk-request:签名算法的调用示例,请根据实际情况修改参数后使用。具体代码说明请参考调用API示例。 调用API示例 在工程中引入sdk。
-
隐私保护管理 - 数据治理中心 DataArts Studio
隐私保护管理 隐私保护简介 管理脱敏算法 管理脱敏策略 管理静态脱敏任务 管理动态脱敏策略 订阅动态脱敏策略 管理数据水印 管理文件水印 管理动态水印策略 父主题: 数据安全组件
-
其他编程语言 - 数据治理中心 DataArts Studio
49b934ca495991b7852b855 对构造好的规范请求进行哈希处理,算法与对RequestPayload哈希处理的算法相同。经过哈希处理的规范请求必须以小写十六进制字符串形式表示。 算法伪代码:Lowercase(HexEncode(Hash.SHA256(CanonicalRequest)))
-
应用场景 - 数据治理中心 DataArts Studio
极大降低企业建设数仓成本。 图2 云上数据平台 基于行业领域知识库快速构建数据中台 通过应用华为在企业业务领域积累的丰富的行业领域模型和算法,帮助企业构建数据中台,快速提升数据运营能力。 优势 多行业支持 覆盖政务/税务/城市/交通/园区等各行业。 标准规范支持 支持分层结构的行业数据标准。
-
CDM有哪些安全防护? - 数据治理中心 DataArts Studio
固,攻击者无法从Internet访问CDM实例的操作系统。 密钥加密:用户在CDM上创建连接输入的各种数据源的密钥,CDM均采用高强度加密算法保存在CDM数据库。 无中间存储:数据在迁移的过程中,CDM只处理数据映射和转换,而不会存储任何用户数据或片段。 父主题: 数据集成
-
示例场景说明 - 数据治理中心 DataArts Studio
脱敏后)进行分析,输出用户和商品的各种数据特征,可为营销决策、广告推荐、信用评级、品牌监控、用户行为预测提供高质量的信息。在此期间,您可以学习到数据开发模块脚本编辑、作业编辑、作业调度等功能,以及DLI的SQL基本语法。 本入门示例涉及DataArts Studio服务的管理中心和数据开发模块,DataArts
-
入门实践 - 数据治理中心 DataArts Studio
等),搬迁到新建的工作空间中。 如何授权其他用户使用DataArts Studio 某数据运营工程师负责本公司的数据质量监控,仅需要数据质量组件的权限。管理员如果直接赋予该数据运营工程师“开发者”的预置角色,则会出现其他组件权限过大的风险。 为了解决此问题,项目管理员可以创建一个
-
目的端为HBase/CloudTable - 数据治理中心 DataArts Studio
是否将选做Rowkey的数据同时写入HBase的列。 toJobConfig.algorithm 否 枚举 创建新HBase表时采用的压缩算法,支持SNAPPY和GZ算法,默认为“NONE”。 toJobConfig.writeToWAL 否 Boolean 选择是否开启HBase的预写日志机制(WAL,Write
-
管理动态脱敏策略 - 数据治理中心 DataArts Studio
留前x后y”和“自定义/掩盖前x后y”这三种脱敏规则非MRS Ranger组件提供,而是通过UDF自定义函数实现的算法。因此如果使用这三种脱敏规则之一,则会上传算法依赖的JAR包到MRS集群,并需要提前授予Ranger数据连接中账号的创建UDF权限以及所有用户的使用UDF权限,详
-
配置HBase/CloudTable目的端参数 - 数据治理中心 DataArts Studio
格。 , Rowkey冗余 可选参数,是否将选做Rowkey的数据同时写入HBase的列,默认值“否”。 否 压缩算法 可选参数,创建新HBase表时采用的压缩算法,默认为值“NONE”。 NONE:不压缩。 SNAPPY:压缩为Snappy格式。 GZ:压缩为GZ格式。 NONE