检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
连接属性如下: socketTimeout,默认socketTimeout=60000 maxWaitTime,默认maxWaitTime=10000 connectTimeout,默认connectTimeout=10000 serverSelectionTimeout,默认serverSelectionTimeout
toJobConfig.algorithm 否 枚举 创建新HBase表时采用的压缩算法,支持SNAPPY和GZ算法,默认为“NONE”。
新建数据连接 创建DataArts Studio数据连接 数据集成 通过DataArts Studio平台将源数据上传或者接入到云上。
图4 推荐识别页面 在页面中选择待识别敏感信息数据表,配置采样行数,识别方式选择为“AI识别”。AI识别方式可以自动识别,实时得到推荐结果。 图5 配置AI识别 如果想要将AI识别结果同步到数据地图组件,可以勾选字段,将分类信息和密级信息同步至数据地图。
否 压缩算法 可选参数,创建新HBase表时采用的压缩算法,默认为值“NONE”。 NONE:不压缩。 SNAPPY:压缩为Snappy格式。 GZ:压缩为GZ格式。 NONE WAL开关 选择是否开启HBase的预写日志机制(WAL,Write Ahead Log)。
如果项目管理员直接赋予该数据运营工程师IAM账号“DAYU User系统角色+工作空间开发者角色”权限,则会出现如下非必需权限过大的风险: 依赖服务权限过大:服务作为平台型服务,DAYU User系统角色预置了依赖服务(如MRS、DWS等相关服务)的管理员权限。
MRS Hive数据源的“SM3”、“自定义/保留前x后y”和“自定义/掩盖前x后y”这几种脱敏规则非MRS Ranger组件提供,而是通过UDF自定义函数实现的算法。
AES-256-GCM:使用长度为256byte的AES对称加密算法,目前加密算法只支持AES-256-GCM(NoPadding)。
algorithm_name 否 String 算法名称。 algorithm_type 否 String 算法类型。 en_name 否 String 算法名称。 algorithm_parameters 否 String 参数。
步骤4:元数据采集 为了在DataArts Studio平台中对迁移到云上的原始数据进行管理和监控,我们必须先在DataArts Studio数据目录模块中对SDI贴源层数据进行元数据采集并监控。
数据存储安全 DataArts Studio通过加密算法对用户个人敏感数据加密后进行存储。对于用户敏感信息,且均存储于中华人民共和国境内,在服务购买周期到期后14天后将会删除。
通过调用ManageOne平台的IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。
快速入门指引 数据治理中心DataArts Studio是具备数据全生命周期管理和智能数据管理能力的一站式数据治理平台,基于数据湖底座,提供数据集成、开发、治理等能力。
region_id String 通过调用ManageOne平台的IAM服务的“查询区域列表”接口获取响应消息中的区域ID。 resource_id String 实例id。 resource_name String 实例名称。
DataArts Studio是基于数据湖的数据运营平台,维度建模使用的场景比较多。 父主题: 数据架构
这里选择是否对源端数据解密,以及选择解密算法: 无:不解密,直接导出。 AES-256-GCM:使用长度为256byte的AES对称加密算法,目前加密算法只支持AES-256-GCM(NoPadding)。该参数在目的端为加密,在源端为解密。
这里选择是否对源端数据解密,以及选择解密算法: 无:不解密,直接导出。 AES-256-GCM:使用长度为256byte的AES对称加密算法,目前加密算法只支持AES-256-GCM(NoPadding)。该参数在目的端为加密,在源端为解密。
DDS连接参数说明 DDS连接适用于华为云上的文档数据库服务,常用于从DDS同步数据到大数据平台。 连接云服务DDS时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。
通过调用ManageOne平台的IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID ,获取方法请参见实例ID和工作空间ID。
AES-256-GCM:使用长度为256byte的AES对称加密算法,目前加密算法只支持AES-256-GCM(NoPadding)。该参数在目的端为加密,在源端为解密。 详细使用方法请参见迁移文件时加解密。