检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
据发现任务。 图3 敏感表密级分布图 敏感字段密级分布图 展示敏感发现任务识别出的表敏感字段,密级和用户定义的一致。右侧显示用户定义的密级及其关联的敏感字段数目。 敏感数据识别任务的创建和运行,参考创建敏感数据发现任务。 图4 敏感字段密级分布图 脱敏任务趋势图 敏感任务趋势图展
API提交,编辑作业时建议不修改。 代理方式:通过用户名、密码访问的方式提交。新建作业建议选择代理提交,可以避免权限问题导致的作业提交失败。 数据质量当前不支持MRS hive组件的严格模式 。 数据库 选择配置的数据质量规则所应用到的数据库。 说明: 数据库基于已建立的数据连接。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
Administrator或者数据安全管理员可以创建、修改或删除数据密级、分类和识别规则,其他普通用户无权限操作。 敏感数据识别过程中,如果规则为内容识别类型(即内置规则和内容识别类型的自定义规则),则仅当数据表中某字段匹配规则的记录数/总记录数>=指定阈值(默认80%)时,才认为该字段为敏感字段,并为之匹配相应密级和分类。
数据源认证及其他功能配置 用户名 是 数据库的用户名,创建DWS集群时指定的用户名。 密码 是 数据库的访问密码,创建DWS集群时指定的密码。 数据集成配置 数据库名称 是 适用组件勾选数据集成后,呈现此参数。 配置为要连接的数据库名称。 单次请求行数 否 适用组件勾选数据集成后,呈现此参数。
Administrator、Tenant Administrator用户或者数据安全管理员可以创建、修改或删除密级权限管控策略,其他普通用户无权限操作。 密级权限管控仅支持对数据地图中已标记密级的字段在数据预览时进行权限管控,不支持对已标记密级的表进行权限管控。 用户/用户组和密级共同唯一
本地IDC数据库的公网IP(例如14.x.x.x/32),下一跳跳至上面配置的NAT网关。 图12 路由表添加路由 其他云数据库添加白名单及安全组规则。 其他云数据库需要添加Migration资源组VPC网段(例如100.x.x.x/32)访问数据库的权限。各类型数据库添加白名单
单击“下一步”后,请参考以下说明配置字段映射,如图9所示,配置完成后,单击“下一步”。 字段映射:在本示例中,由于数据迁移的目标表字段顺序和原始数据的字段顺序是一样的,因此这里不需要调整字段映射的顺序。 如果目标表字段顺序和原始数据不一致,请一一将源字段指向含义相同的目的字段。请将鼠标移至某一个字段的箭头起
Currentlogsequence 2 执行SQL命令ALTER DATABASE OPEN启动数据库。 Oracle开启数据库和需要迁移的表的补充日志。 执行以下SQL开启数据库补充日志。 ALTER DATABASE ADD SUPPLEMENTAL LOG DATA; 开启需要实时同步的表的补充日志。
Migration作业需要根据DRS的同步位点启动作业,做到数据的续传、不漏数。 请联系DRS运维人员获取到DRS任务同步的安全位点(一个binlog文件名),联系MySQL数据库运维根据安全位点查询出当前DRS已同步binlog的时间戳,根据这个时间戳启动Migration作业。 在启动Migration作业
例如:year=2020,location=sun。 - 高级属性 入库时间字段 将一个字段标记为入库时间字段,自动建表时将此字段自动加到建表语句中,写入Hudi时将把此字段的值替换为当前时间。所选字段必须为timestamp类型。 - 写入参数 在执行Spark SQL往hud
同Region不同租户通过企业路由器连通网络 在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在华为云,且与Migration资源组同Region不同租户场景下,通过企业路由器打通网络的方案。
dm_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的DWS、RDS等实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同,请根据具体情况配置。 数据库名称 配置为要连接的数据库名称。 dbname
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
getDatasourceConnections 查询数据库 DLMDataSourceDatabase getDatasourcedatabases 查询数据库表 DLMDataSourceTable getDatasourcedatables 查询数据库表的字段 DLMDataSourceTableField
更新已有规则:若勾选此项,新添加的规则会覆盖旧规则。 匹配字段:此参数默认应用于所有字段,依据用户输入的正则表达式对字段进行过滤。 Where条件:可依据用户输入的where条件对字段进行过滤。 生成异常数据:开启此项,表示异常数据将按照配置的参数存储到规定的库中。 数据库或Schema:开启“生成异常数
i时将把此字段的值替换为当前时间,不自动建表时选择已经存在的入库时间字段。 是 入库时间字段名称 “使用入库时间字段”设置为“是”时,呈现此参数。 用于记录写入Hudi的时间。 说明: 对于已存在目的端表中带有入库时间字段的,可以直接使用已有的timestamp类型字段。 对于自
CREATE DATABASE demo_sdi_db; --创建DWI多源整合层数据库 CREATE DATABASE demo_dwi_db; --创建DWR明细数据层数据库 CREATE DATABASE demo_dwr_db; --创建DM数据集市层数据库 CREATE DATABASE
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
描述 target_field_id 否 String 目标字段ID,当前表的某个字段,ID字符串。 target_field_name 是 String 目标字段编码。 field_ids 否 String 来源字段ID,多个ID以逗号分隔。 transform_expression