华为云用户手册

  • 加密操作流程 数据库加密与访问控制的加密操作流程图和流程介绍如下图1所示。 图1 加密操作流程 (首次)初始化密钥。 首次使用系统时,根据密钥来源初始化密钥。具体操作,请参见初始化密钥。 添加数据源。 在使用数据脱敏功能前,您需要将数据资产添加到系统中。具体操作,请参见添加数据资产。 (可选)配置行业模板和敏感数据类型。 系统已经内置满足大部分需求的敏感数据类型和通用行业模板。如果您有特殊需求,也可以自定义敏感数据类型和行业模板。具体操作,请参见新增行业模板和新增自定义数据类型。 (可选)执行敏感数据发现。 通过敏感数据发现任务,自动扫描和识别出数据资产中的敏感数据。具体操作,请参见扫描资产的敏感数据。 (可选)查看任务执行结果。 通过查看任务执行结果,检查结果是否符合敏感数据要求。具体操作,请参见查看扫描任务执行结果。 (可选)仿真加密测试。 通过仿真加密测试,检查目标是否支持加密。具体操作,请参见仿真加密测试。 创建加密队列。 您可以在敏感数据发现任务的结果中,根据敏感数据信息创建加密队列。具体操作,请参见在结果中创建加密队列。 同时,也支持在 数据加密 模块直接创建加密队列。具体操作,请参见配置加密队列。 授权管理。 配置加密后,默认情况下访问数据库时,您只能看到加密后的数据。应用系统正常运行需要获取加密前的数据,此时您需要为应用系统进行授权操作。具体操作,请参见管理授权。 配置完成后,您可以通过以下方式验证配置结果。 使用已授权的客户端地址和用户,通过代理方式访问数据库,此时可以查看到加密前的明文数据。 使用未授权的客户端地址或用户,通过代理方式访问数据库,此时只能查看到加密后的数据。
  • 操作步骤 使用系统管理员sysadmin账号登录数据库运维管理系统。 默认进入首页页面,在首页中查看信息。 图1 首页信息看板 表1 首页信息看板 区域 说明 数据资产统计 统计关系型数据库资产数量、大数据资产数量和资产总数。 网络流量 统计近3分钟所有网卡的网络流量信息。 业务监控 统计各风险级别的业务访问数量。 CPU 统计近3分钟的实时CPU使用率。 内存 统计近3分钟的实时内存使用率。 磁盘 统计近3分钟的实时磁盘使用率。
  • 动态脱敏操作流程 数据库加密与访问控制支持配置动态脱敏策略,对数据库资产中的明文数据进行脱敏展示,动态脱敏流程如图1所示。 图1 动态脱敏流程 添加数据源。 在使用数据脱敏功能前,您需要将数据资产添加到系统中。具体操作,请参见添加数据资产。 (可选)配置行业模板和敏感数据类型。 系统已经内置满足大部分需求的敏感数据类型和通用行业模板。如果您有特殊需求,也可以自定义敏感数据类型和行业模板。具体操作,请参见新增行业模板和新增自定义数据类型。 执行敏感数据发现。 通过敏感数据发现任务,自动扫描和识别出数据资产中的敏感数据。具体操作,请参见扫描资产的敏感数据。 (可选)查看任务执行结果。 通过查看任务执行结果,查看命中的敏感数据。具体操作,请参见查看扫描任务执行结果。 创建脱敏规则。 您可以在敏感数据发现任务的结果中,根据敏感数据信息创建加密队列。具体操作,请参见在结果中创建脱敏规则。 同时,也支持在动态脱敏模块直接创建脱敏规则。具体操作,请参见创建脱敏规则。 (可选)配置脱敏白名单。 配置脱敏规则并启用后,默认情况下访问数据库的明文数据时,您只能看到脱敏后的数据。配置脱敏白名单后,白名单中的用户访问数据库可查看到明文数据。具体操作,请参见1.4.8.3 配置脱敏白名单。 配置完成后,您可以代理访问验证脱敏规则配置效果。
  • 策略应用流程 数据库运维安全管理系统支持多种策略的设置与应用,以实现各种数据级的访问控制,策略应用流程如图1所示。 图1 策略应用流程 系统管理员添加数据资产,并进行相应设置。具体说明请参见添加数据资产。 进行防护策略设置,包括策略基本配置、集合配置、自定义策略(SQL策略、包过滤策略、客户端语句过滤白名单)、设置虚拟补丁。具体说明请参见策略设置。 勾选要启用的策略并应用使之生效。具体说明请参见管理基本配置。 在后续操作中,您可在审计日志中查看到命中策略的记录。具体说明请参见查看审计日志信息。 父主题: 快速使用指南
  • 运维人员操作管理体系流程 数据库运维安全管理系统设置了完善的运维人员操作管理体系,流程如图1所示。 图1 运维人员操作管理流程 安全管理员需先添加审批人(系统管理员)与申请人(数据库操作员)账号。具体说明请参见手动创建账号。 新增的账号需先经安全管理员审核通过。具体说明请参见审核账号。 安全管理员设置审批架构,设置审批人与申请人。具体说明请参见设置审批架构。 系统管理员需给目标资产开启Web认证,以便后续能给数据库操作员进行资产认证授权。具体说明请参见添加数据资产。 系统管理员添加数据资产账号信息,用于给数据库操作员资产认证授权。具体说明请参见手动添加账号。 系统管理员找到目标数据库操作员,并进行资产授权操作。具体说明请参见管理运维人员。 随后数据库操作员对目标资产发起运维工单申请。具体说明请参见发起运维工单申请。 对应系统管理员(审批人)审批工单申请。具体说明请参见审批运维工单。 审批通过,数据库操作员需先登录系统,随后可以通过安全客户端或本机其他数据库客户端进行操作。具体说明请参见通过Web安全客户端访问资产。 父主题: 快速使用指南
  • 修改登录密码 在Web控制台,鼠标移动到右上角的用户名。 图4 修改密码 在下拉框中,单击“修改密码”。 在修改密码对话框中,输入原始密码和新密码,单击“确定”,新密码规则如表2所示。 修改完成后,您需要退出Web控制台,使用新密码重新登录。 表2 修改密码 参数 说明 原密码 输入原来的登录密码。 新密码 输入修改后的新密码。 为了登录安全,建议您将密码设置成复杂密码,例如包含以下多种字符组合: 大写字母(从A到Z) 小写字母(从a到z) 数字(0~9) 特殊符号(例如:! @ # $) 确认密码 重新输入修改后的新密码。
  • 操作步骤 登录实例。 方式一:登录服务管理控制台,进入数据库加密与访问控制页面,在目标实例“操作”列单击“远程登录”或“本地登录”。 方式二:通过方式一进入的数据库加密与访问控制页面获取“弹性IP”,在浏览器地址栏中输入访问地址,按回车键,进入登录界面。 访问地址:https://服务器弹性IP地址:端口,例如https://100.xx.xx.54:9595。 (可选)在安全告警页面,单击“高级”。 图1 安全告警 (可选)在详情说明中,单击继续前往xx.xx.xx.xx(不安全)。 图2 继续前往 输入用户名、密码和验证码,单击“登录”。 图3 登录界面 首次登录后,需要修改默认密码,详细操作请参见修改登录密码。 在后续使用过程中,建议您定期修改密码,确保登录安全。
  • DMAP数小二 DMAP数小二是承载《华为数字化转型之道》、《华为数据之道》理论精华,从业务、数据、应用、技术视角对企业核心信息进行运营和管理的平台,是对企业数字化世界的描述,也是企业数字化资产的入口,致力于帮助政企组织开展企业数字化资产的正向循环和全生命周期运营,最终通过平台预制数字化模板和自助构建模式,助力企业在数字化时代实现高效运营、加速转型。 产品架构 DMAP数小二产品架构如图2所示。 图2 产品架构 产品模块说明: 架构师360 提供给企业架构师(业务架构师、应用架构师、数据架构师)的管理工具,实现对基于EA元模型的数字身份、数字化报告模板的管理。 数字资产库 数字资产的综合查询库,支持架构资产一键式搜索,通过丰富的过滤条件,包括资产类型、密级两大类,可快捷直达所需资产。 架构地图 提供给普通消费者查阅遵从TOGAF 10定义的架构资产(架构制品Artifact),包括目录Catalog、地图Map、矩阵Matrices、图表Diagram四类制品,将数字资产库中的资产进行可视化呈现,使数字资产支撑管理决策。 七巧板报告 七巧板报告的开放市场,用于企业员工查看数字化报告,实现团队内共享使用。内置丰富的七巧板报告模板,覆盖主要企业架构制品。利用元模型技术分钟级完成七巧板报告的开发。 数据管家360 提供给数据管家和数据Owner的管理工具,实现对数据源、技术元数据采集、信息架构、数据标准等的管理。 运营中心 集中查看支撑运营根技术的模块,内含元模型中心,从信息架构、业务架构、应用架构三大层面感知元模型的驱动力。 EA元模型 基于企业架构管理优秀经验孵化,遵从CWM/MOF/TOGAF国际标准。元模型中涵盖数据资产管理相关的能够反应物理世界运作的实体,定义BA、AA、IA、TA相关核心实体和特征,支持数字化能力运营。 元数据平台 DMAP数小二的技术引擎平台,以ABM应用业务模型为载体,包含元模型、连接器、画布、数字身份等根技术,实现元数据驱动应用开发,保障企业架构资产的高质量运营。
  • 集成应用权限 ROMA Connect对用户资源实现了严格的权限管理,在同一实例内, IAM 用户只能查看和管理自己创建的集成应用和资源,默认不能查看其他IAM用户创建的集成应用和资源。ROMA Connect支持通过集成应用授权的方式,把集成应用下的资源共享给同一账号下的其他IAM用户来查看和使用。 表3 应用权限说明 权限 FDI APIC MQS LINK read 可查看授权应用的数据源。 可查看、调试和导出授权应用的API。 可查看和导出授权应用的Topic。 可查看授权应用的设备、产品和规则,可导出授权应用的设备、产品和规则,并调试设备。 modify 可在授权应用下创建和编辑数据源。 可在授权应用下创建、编辑、发布、下线和导入API。 可在授权应用下创建和编辑Topic。 可在授权应用下创建和编辑设备、产品和规则,可导入设备、产品和规则,可重置设备和产品的密码。 delete 可删除授权应用的数据源。 可删除授权应用的API。 可删除授权应用的Topic。 可删除授权应用的设备、产品和规则,可删除产品属性、Topic类、规则数据源端、规则数据目的端。 access 不涉及。 可对授权应用的API进行授权、访问控制、流量控制、签名密钥绑定API配置。 可对授权应用的Topic进行应用权限配置。 可对设备进行命令下发和强制下线,并且可以对协议为OPC UA和Modbus的设备进行插件配置。 admin 应用管理员权限。
  • ROMA资产市场权限 如表4所示,包含了新版ROMA Connect资产中心的相关操作权限。 表4 资产市场权限 系统角色/策略名称 描述 类别 依赖关系 ROMA Assets FullAccess ROMA资产市场管理员权限,支持资产发布、使用、审批。 系统策略 Tenant Administrator ROMA Assets ResourceUser ROMA资产市场资源使用者相关权限,支持资产订阅和使用。 系统策略 无 ROMA Assets ResourceProvider ROMA资产市场资源提供者相关权限,支持资产发布。 系统策略 无 ROMA Assets ResourceAuditor ROMA资产市场的资源审核者权限,支持资产审核。 系统策略 无
  • 应用业务模型ABM权限 如表5所示,包括了ABM的所有系统权限。 表5 ABM系统权限 系统角色/策略名称 描述 类别 依赖关系 ROMA ABM FullAccess ROMA应用业务模型服务所有权限。 系统策略 无 ROMA ABM CommonOperations ROMA应用业务模型服务普通用户,拥有除了创建、修改、删除实例之外的所有权限。 系统策略 无 ROMA ABM ReadOnlyAccess ROMA应用业务模型服务只读权限。 系统策略 无
  • ROMA Connect权限 默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 ROMA Connect部署时通过物理区域划分,为项目级服务。授权时,“作用范围”需要选择“区域级项目”,然后在指定区域(如华北-北京1)对应的项目(cn-north-1)中设置相关权限,并且该权限仅对此项目生效;如果在“所有项目”中设置权限,则该权限在所有区域项目中都生效。访问ROMA Connect时,需要先切换至授权区域。 权限根据授权精细程度分为角色和策略。 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度,提供有限的服务相关角色用于授权。由于华为云各服务之间存在业务依赖关系,因此给用户授予角色时,可能需要一并授予依赖的其他角色,才能正确完成业务。角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对ROMA Connect服务,管理员能够控制IAM用户仅能对实例内的资源进行指定的管理操作。多数细粒度策略以API接口为粒度进行权限拆分,ROMA Connect支持的API授权项请参见细粒度策略支持的授权项 如表1所示,包括了ROMA Connect的所有系统权限。 表1 ROMA Connect系统权限 系统角色/策略名称 描述 类别 依赖关系 ROMA FullAccess ROMA Connect服务管理员权限,拥有该权限的用户可以操作所有ROMA Connect服务的功能。 系统策略 无 ROMA CommonOperations ROMA Connect服务普通用户权限(无实例创建、修改、删除的权限)。 系统策略 无 ROMA ReadOnlyAccess ROMA Connect服务的只读权限,拥有该权限的用户仅能查看ROMA Connect服务数据。 系统策略 无 ROMA Administrator ROMA Connect服务管理员权限,拥有该权限的用户可以操作所有ROMA Connect服务的功能。 系统角色 无 表2列出了ROMA Connect常用操作与系统权限的授权关系,您可以参照该表选择合适的系统权限。 表2 常用操作与系统权限的关系 操作 ROMA FullAccess ROMA CommonOperations ROMA ReadOnlyAccess ROMA Administrator 创建ROMA Connect实例 √ x x √ 查询ROMA Connect实例信息 √ √ √ √ 修改ROMA Connect实例 √ x x √ 删除ROMA Connect实例 √ x x √ 操作实例下资源 √ √ x √
  • ROMA业务流权限 如表6所示,包含了业务流的所有系统权限。 表6 ROMA业务流系统权限 系统策略/策略名称 描述 类别 依赖关系 ROMA BFS CommonOperations ROMA业务流服务的操作权限,如创建业务流等。 系统策略 无 ROMA BFS FullAccess ROMA业务流管理员权限。 系统策略 无 ROMA BFS ReadOnlyAccess ROMA业务流服务只读权限。 系统策略 无
  • ROMA业务流图权限 ROMA业务流对用户的业务流图实现了严格的权限管理,IAM用户只能查看和管理自己创建的业务流图,默认不能查看其他IAM用户创建的业务流图。ROMA业务流支持通过授权的方式,把自己的业务流图共享给同一账号下的其他IAM用户来查看和使用。 表7 ROMA业务流图权限说明 权限 业务流 read 可查看授权业务流图。 modify 可修改、保存授权业务流图。 delete 可删除授权业务流图。 operate 可启动、停止、重启、手工调度授权业务流图。 admin 业务流图管理员权限。
  • 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“MQS”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 选择当前实例下MQS的内网连接地址。 是否SSL ROMA Connect与MQS的连接是否使用SSL认证加密。 当MQS开启了SSL且VPC内网明文访问未开启时,请选择“是”,其他情况下选择“否”。 SSL用户名/应用Key 仅当“是否SSL”选择“是”时需要配置。 SSL认证所使用的用户名,如果使用ROMA Connect的消息集成作为MQS数据源,则用户名为集成应用的Key。 SSL密码/应用Secret 仅当“是否SSL”选择“是”时需要配置。 SSL认证所使用的用户密码,如果使用ROMA Connect的消息集成作为MQS数据源,则密码为集成应用的Secret。 以开启SSL为例,数据源的接入配置示例如下图所示。 图1 MQS数据源配置示例 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功!”,则继续下一步。 若测试结果为“数据源连接失败!”,则检查数据源状态和数据源连接参数配置,然后单击“重新检测”,直到连接成功为止。 单击“创建”,完成数据源的接入。
  • 功能简介 消息集成MQS是ROMA Connect的消息集成组件,使用统一的消息接入机制,提供跨网络访问的安全、标准化消息通道。使用ROMA Connect进行消息集成,有如下优势: 支持原生Kafka特性 兼容社区版Kafka的API,具备原生Kafka的所有消息处理特性。 支持安全的消息传输 独有的安全加固体系,提供业务操作云端审计,消息传输加密等有效安全措施。通过SASL认证,安全组等加强网络访问控制。 支持消息数据高可靠 支持消息持久化,多副本存储机制。副本间消息同步、异步复制,数据同步或异步落盘多种方式供您自由选择。
  • 使用流程 使用ROMA Connect进行消息集成的流程如下图所示。 图1 业务使用流程 已创建实例和集成应用。 创建Topic 创建用于存储消息的Topic,供消息生产方发布消息和供消息消费方订阅消息。 配置Topic授权(可选) 若ROMA Connect实例开启了MQS的SASL_SSL,客户端向Topic发布和订阅消息时,需要使用授权集成应用的Key和Secret进行安全认证。 连接Topic 在系统中集成开源的Kafka客户端,然后通过客户端提供的命令行向Topic生产和消费消息。
  • 脚本配置示例 { "response_headers": [ { "name": "header1", "value": "test", "action": "append" }, { "name": "header2", "value": "roma", "action": "override" } ] }
  • Oracle为CDB数据库时的配置 建议由数据库管理员进行CDC功能的配置操作。 开启日志归档。 在命令行工具中执行以下命令以sys用户连接到数据库。 在实际使用过程中,可以有多种方式连接数据库,此处以命令行方式为例进行说明。 sqlplus /nolog CONNECT sys/password@host:port AS SYSDBA; 其中: password为数据库sys用户的密码,可向数据库管理员获取。 host为数据库实例所在服务器的IP地址,请根据实际情况设置。 port为数据库实例所使用的端口,请根据实际情况设置。 执行以下命令,检查日志归档是否已开启。 archive log list; 若回显打印“Database log mode: No Archive Mode”,说明日志归档未开启,继续执行下一步。 若回显打印“Database log mode: Archive Mode”,说明日志归档已开启,直接跳到1.f。 执行以下命令配置归档日志参数。 alter system set db_recovery_file_dest_size = 100G; alter system set db_recovery_file_dest = '/opt/oracle/oradata/recovery_area' scope=spfile; 其中: 100G为日志文件存储空间的大小,请根据实际情况设置。 /opt/oracle/oradata/recovery_area为日志存储路径,请根据实际规划设置,但须确保路径提前创建。 执行以下命令开启日志归档。 开启日志归档功能需重启数据库,重启期间将导致业务中断,请谨慎操作。 归档日志会占用较多的磁盘空间,若磁盘空间满了会影响业务,请定期清理过期归档日志。 shutdown immediate; startup mount; alter database archivelog; alter database open; 执行以下命令,确认日志归档是否已成功开启。 archive log list; 当回显打印“Database log mode: Archive Mode”,说明日志归档已开启。 执行以下命令退出数据库连接。 exit; 安装LogMiner工具。 在命令行工具中执行以下命令以sys用户连接到数据库实例。 sqlplus sys/password@host:port/SID as sysdba 其中: password为数据库sys用户的密码,请向数据库管理员获取。 host为数据库实例所在服务器的IP地址,请根据实际情况设置。 port为数据库实例所使用的端口,请根据实际情况设置。 SID为要同步数据所在实例的实例名,请根据实际情况设置。 执行以下命令,检查LogMiner工具是否已安装。 desc DBMS_ LOG MNR desc DBMS_LOGMNR_D 若无打印信息返回,说明LogMiner工具未安装,继续执行下一步。 若有打印信息返回,说明LogMiner工具已安装,直接跳到3。 执行以下命令,安装LogMiner工具。 @$ORACLE_HOME/rdbms/admin/dbmslm.sql @$ORACLE_HOME/rdbms/admin/dbmslmd.sql 创建LogMiner执行用户并给用户赋予权限。 执行以下命令创建LogMiner用户角色并配置权限。 create role c##roma_logminer_privs container=all; grant create session, execute_catalog_role, select any transaction, flashback any table, select any table, lock any table, logmining, set container, select any dictionary to c##roma_logminer_privs container=all; grant select on SYSTEM.LOGMNR_COL$ to c##roma_logminer_privs container=all; grant select on SYSTEM.LOGMNR_OBJ$ to c##roma_logminer_privs container=all; grant select on SYSTEM.LOGMNR_USER$ to c##roma_logminer_privs container=all; grant select on SYSTEM.LOGMNR_UID$ to c##roma_logminer_privs container=all; grant create table to c##roma_logminer_privs container=all; grant select on V_$DATABASE to c##roma_logminer_privs container=all; grant select_catalog_role to c##roma_logminer_privs container=all; grant lock any table to c##roma_logminer_privs container=all; grant create sequence to c##roma_logminer_privs container=all; grant execute on DBMS_LOGMNR to c##roma_logminer_privs container=all; grant execute on DBMS_LOGMNR_D to c##roma_logminer_privs container=all; grant select on V_$LOG to c##roma_logminer_privs container=all; grant select on V_$LOG_HISTORY to c##roma_logminer_privs container=all; grant select on V_$LOGMNR_LOGS to c##roma_logminer_privs container=all; grant select on V_$LOGMNR_CONTENTS to c##roma_logminer_privs container=all; grant select on V_$LOGMNR_PA RAM ETERS to c##roma_logminer_privs container=all; grant select on V_$LOGFILE to c##roma_logminer_privs container=all; grant select on V_$ARCHIVED_LOG to c##roma_logminer_privs container=all; grant select on V_$ARCHIVE_DEST_STATUS to c##roma_logminer_privs container=all; grant select on V_$TRANSACTION to c##roma_logminer_privs container=all; 其中,c##roma_logminer_privs为LogMiner用户角色名,请根据实际规划设置。 执行以下命令创建LogMiner执行用户。 create user c##roma_logminer identified by password default tablespace users container=all; grant c##roma_logminer_privs to c##roma_logminer container=all; alter user c##roma_logminer quota unlimited on users container=all; 其中: c##roma_logminer为LogMiner用户名,请根据实际规划设置。 password为LogMiner用户密码,请根据实际规划设置。 c##roma_logminer_privs为LogMiner用户角色,在3.a中创建。 执行以下命令修改日志记录参数。 alter database add supplemental log data (all) columns; 执行以下命令退出数据库连接。 exit;
  • Oracle为非CDB数据库时的配置 建议由数据库管理员进行CDC功能的配置操作。 开启日志归档。 在命令行工具中执行以下命令以sys用户连接到数据库。 在实际使用过程中,可以有多种方式连接数据库,此处以命令行方式为例进行说明。 sqlplus /nolog CONNECT sys/password@host:port AS SYSDBA; 其中: password为数据库sys用户的密码,可向数据库管理员获取。 host为数据库实例所在服务器的IP地址,请根据实际情况设置。 port为数据库实例所使用的端口,请根据实际情况设置。 执行以下命令,检查日志归档是否已开启。 archive log list; 若回显打印“Database log mode: No Archive Mode”,说明日志归档未开启,继续执行下一步。 若回显打印“Database log mode: Archive Mode”,说明日志归档已开启,直接跳到1.f。 执行以下命令配置归档日志参数。 alter system set db_recovery_file_dest_size = 100G; alter system set db_recovery_file_dest = '/opt/oracle/oradata/recovery_area' scope=spfile; 其中: 100G为日志文件存储空间的大小,请根据实际情况设置。 /opt/oracle/oradata/recovery_area为日志存储路径,请根据实际规划设置,但须确保路径提前创建。 执行以下命令开启日志归档。 开启日志归档功能需重启数据库,重启期间将导致业务中断,请谨慎操作。 归档日志会占用较多的磁盘空间,若磁盘空间满了会影响业务,请定期清理过期归档日志。 shutdown immediate; startup mount; alter database archivelog; alter database open; 执行以下命令,确认日志归档是否已成功开启。 archive log list; 当回显打印“Database log mode: Archive Mode”,说明日志归档已开启。 执行以下命令退出数据库连接。 exit; 安装LogMiner工具。 在命令行工具中执行以下命令以sys用户连接到数据库实例。 sqlplus sys/password@host:port/SID as sysdba 其中: password为数据库sys用户的密码,请向数据库管理员获取。 host为数据库实例所在服务器的IP地址,请根据实际情况设置。 port为数据库实例所使用的端口,请根据实际情况设置。 SID为要同步数据所在实例的实例名,请根据实际情况设置。 执行以下命令,检查LogMiner工具是否已安装。 desc DBMS_LOGMNR desc DBMS_LOGMNR_D 若无打印信息返回,说明LogMiner工具未安装,继续执行下一步。 若有打印信息返回,说明LogMiner工具已安装,直接跳到3。 执行以下命令,安装LogMiner工具。 @$ORACLE_HOME/rdbms/admin/dbmslm.sql @$ORACLE_HOME/rdbms/admin/dbmslmd.sql 创建LogMiner执行用户并给用户赋予权限。 执行以下命令创建LogMiner用户角色并配置权限。 create role roma_logminer_privs; grant create session, execute_catalog_role, select any transaction, flashback any table, select any table, lock any table, select any dictionary to roma_logminer_privs; grant select on SYSTEM.LOGMNR_COL$ to roma_logminer_privs; grant select on SYSTEM.LOGMNR_OBJ$ to roma_logminer_privs; grant select on SYSTEM.LOGMNR_USER$ to roma_logminer_privs; grant select on SYSTEM.LOGMNR_UID$ to roma_logminer_privs; grant select on V_$DATABASE to roma_logminer_privs; grant create table to roma_logminer_privs; grant select_catalog_role to roma_logminer_privs; grant LOGMINING to roma_logminer_privs; grant lock any table to roma_logminer_privs; grant create sequence to roma_logminer_privs; grant execute on DBMS_LOGMNR to roma_logminer_privs; grant execute on DBMS_LOGMNR_D to roma_logminer_privs; grant select on V_$LOG to roma_logminer_privs; grant select on V_$LOG_HISTORY to roma_logminer_privs; grant select on V_$LOGMNR_LOGS to roma_logminer_privs; grant select on V_$LOGMNR_CONTENTS to roma_logminer_privs; grant select on V_$LOGMNR_PARAMETERS to roma_logminer_privs; grant select on V_$LOGFILE to roma_logminer_privs; grant select on V_$ARCHIVED_LOG to roma_logminer_privs; grant select on V_$ARCHIVE_DEST_STATUS to roma_logminer_privs; grant select on V_$TRANSACTION to roma_logminer_privs; 其中: roma_logminer_privs为LogMiner用户角色名,请根据实际规划设置。 “grant LOGMINING to roma_logminer_privs;”仅当Oracle为12c版本时,才需要添加,否则删除此行内容。 执行以下命令创建LogMiner执行用户。 create user roma_logminer identified by password default tablespace users; grant roma_logminer_privs to roma_logminer; alter user roma_logminer quota unlimited on users; 其中: roma_logminer为LogMiner用户名,请根据实际规划设置。 password为LogMiner用户密码,请根据实际规划设置。 roma_logminer_privs为LogMiner用户角色,在3.a中创建。 执行以下命令修改日志记录参数。 alter database add supplemental log data (all) columns; 执行以下命令退出数据库连接。 exit;
  • 概述 CDC(Change Data Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 ROMA Connect支持Oracle的XStream和LogMiner两种CDC模式,本章节主要介绍如何为Oracle数据库开启LogMiner模式的CDC功能。另外,根据Oracle数据库类型为CDB数据库还是非CDB数据库,CDC的配置有所不同。 CDC任务当前仅支持采集数据库物理表,不支持视图。
  • 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 修改安全组配置,仅资产迁移场景需要,否则跳过此步。 在“实例信息”页面的“基本信息”页签下,单击安全组的名称。 在安全组配置页面中,根据准备工作中获取的源实例安全组信息和新实例的实际组网需求,修改安全组的规则配置。 ROMA Connect实例的安全组规则要求请参见表2。 修改实例路由信息,仅资产迁移场景需要,否则跳过此步。 在“实例信息”页面的“基本信息”页签下,更改路由信息。 修改实例配置参数,仅资产迁移场景需要,否则跳过此步。 在“实例信息”页面的“配置参数”页签下,根据准备工作中获取的源实例配置参数信息,修改配置参数。 添加数据字典配置。 在“实例信息”页面的“数据字典”页签下,根据准备工作中获取的源实例数据字典信息,添加数据字典配置。 具体创建字典的操作请参见创建数据字典。
  • 脚本配置示例 { "broker_list": [ "10.10.10.10:81", "10.10.10.11:82", "10.10.10.12:83" ], "topic": "Topic-test", "key": "aaa", "max_retry_count": 0, "retry_backoff": 1, "sasl_config": { "security_protocol": "PLAINTEXT", "sasl_mechanisms": "PLAIN", "sasl_username": "", "sasl_password": "", "ssl_ca_content": "" }, "meta_config": { "system": { "start_time": true, "request_id": true, "client_ip": true, "api_id": false, "user_name": false, "app_id": false, "request_time": true, "http_status": true, "server_protocol": false, "scheme": true, "request_method": true, "host": false, "api_uri_mode": false, "uri": false, "request_size": false, "response_size": false, "upstream_uri": false, "upstream_addr": true, "upstream_status": true, "upstream_connect_time": false, "upstream_header_time": false, "upstream_response_time": true, "http_x_forwarded_for": true, "http_user_agent": true, "error_type": true, "access_model1": false, "access_model2": false, "inner_time": false, "proxy_protocol_vni": false, "proxy_protocol_vpce_id": false, "proxy_protocol_addr": false, "body_bytes_sent": false, "api_name": false, "app_name": false, "provider_app_id": false, "all_upstream_response_time": false, "region_id": false, "auth_type": false, "response_source": false, "provider_app_name": false, "custom_data_log01": false, "custom_data_log02": false, "custom_data_log03": false, "custom_data_log04": false, "custom_data_log05": false, "custom_data_log06": false, "custom_data_log07": false, "custom_data_log08": false, "custom_data_log09": false, "custom_data_log10": false }, "call_data": { "log_request_header": true, "request_header_filter": "aaa", "log_request_query_string": true, "request_query_string_filter": "bbb", "log_request_body": true, "log_response_header": true, "response_header_filter": "ccc", "log_response_body": true, "custom_authorizer": { "frontend": [], "backend": [] } } } }
  • 约束与限制 同一个API在同一个环境中只能绑定一个相同类型的插件策略,已被API绑定的插件策略无法删除。 同一个ROMA Connect实例内最多可创建5个Kafka日志推送策略。 推送的日志信息中,响应数据暂不支持Transfer Encoding响应头参数。 消息中的请求体字段和响应体字段大小受到kafka_log_plugin_options中request_body_size和response_body_size的限制,当超过对应限制值时,对应字段会被截断。 推送的日志信息中,请求Body和响应Body信息是按UTF-8编码方式计算字节长度。
  • 脚本配置示例 { "auth_request": { "method": "GET", "protocol": "HTTPS", "url_domain": "10.10.10.10", "timeout": 5000, "path": "/auth", "vpc_channel_enabled": false, "vpc_channel_info": null }, "custom_forbid_limit": 100, "carry_body": { "enabled": true, "max_body_size": 1000 }, "auth_downgrade_enabled": true, "carry_path_enabled": true, "return_resp_body_enabled": false, "carry_resp_headers": [], "simple_auth_mode_enabled": true, "match_auth": null, "rule_enabled": false, "rule_type": "allow" }
  • 前提条件 每个API都要归属到某个集成应用下,在创建API前您需要有可用的集成应用,否则请提前创建集成应用。 每个API都要归属到某个API分组下,在创建API前您需要有可用的API分组,否则请提前创建API分组。 如果需要使用负载通道访问后端服务所在的服务器,请提前创建负载通道。 如果需要使用自定义认证方式进行API的安全认证,请提前创建前端自定义认证。 在创建API前,请确保ROMA Connect实例与您的后端服务所在网络互通。 若ROMA Connect实例与后端服务在相同VPC内时,可直接访问后端服务。 若ROMA Connect实例与后端服务在同一区域的不同VPC内时,可通过创建VPC对等连接,将两个VPC的网络打通,实现同一区域跨VPC访问后端服务。具体步骤请参考VPC对等连接说明。 若ROMA Connect实例与后端服务在不同区域的不同VPC内时,可通过创建云连接实例并加载需要互通的VPC,将两个VPC的网络打通,实现跨区域跨VPC访问后端服务。具体步骤请参考跨区域VPC互通。 若ROMA Connect实例与后端服务通过公网互通,请确保ROMA Connect实例已绑定弹性IP。 若ROMA Connect实例跨VPC内网访问后端服务时,需要完成实例到后端服务所在子网的路由配置。 使用FunctionGraph作为API的后端服务时,用户需要具备FunctionGraph Administrator角色权限。 在同一实例内,无法创建两个所属分组、请求方法、请求路径和匹配模式都一样的API。
  • 转换证书为PEM格式 格式类型 转换方式(通过OpenSSL工具进行转换) CER/CRT 将“cert.crt”证书文件直接重命名为“cert.pem”。 PFX 提取私钥命令,以“cert.pfx”转换为“key.pem”为例。 openssl pkcs12 -in cert.pfx -nocerts -out key.pem 提取证书命令,以“cert.pfx”转换为“cert.pem”为例。 openssl pkcs12 -in cert.pfx -nokeys -out cert.pem P7B 证书转换,以“cert.p7b”转换为“cert.cer”为例。 openssl pkcs7 -print_certs -in cert.p7b -out cert.cer 将“cert.cer”证书文件直接重命名为“cert.pem”。 DER 提取私钥命令,以“privatekey.der”转换为“privatekey.pem”为例。 openssl rsa -inform DER -outform PEM -in privatekey.der -out privatekey.pem 提取证书命令,以“cert.cer”转换为“cert.pem”为例。 openssl x509 -inform der -in cert.cer -out cert.pem
  • 操作步骤 建议由数据库管理员进行CDC功能的配置操作,以下配置以Linux环境为例进行说明。 开启Binlog。 使用命令行工具连接到MySQL数据库所在服务器,执行以下命令以root用户登录数据库。 mysql -uroot -ppassword 其中,password为数据库root用户的密码,可向数据库管理员获取。 执行以下命令,查询MySQL数据库是否开启了Binlog。 show variables like 'log_bin'; 若变量log_bin的值为“OFF”,则说明Binlog未开启,继续执行下一步。 若变量log_bin的值为“ON”,则说明Binlog已开启,继续执行以下SQL命令,检查相关参数的配置是否符合要求。 show variables like '%binlog_format%'; show variables like '%binlog_row_image%'; 变量binlog_format的值应该为“ROW”,变量binlog_row_image的值应该为“FULL”。如果满足要求,直接跳到2,否则继续执行下一步。 执行以下命令退出数据库。 exit; 执行以下命令编辑MySQL配置文件,然后按“i”进入输入模式。 vi /etc/my.cnf 在配置文件中增加如下配置,开启Binlog。 server-id = 123 log_bin = mysql-bin binlog_format = row binlog_row_image = full expire_logs_days = 10 gtid_mode = on enforce_gtid_consistency = on 其中: server-id的值应为大于1的整数,请根据实际规划设置,并且在创建数据集成任务时设置的“Server Id”值需要此处设置的值不同。 expire_logs_days为Binlog日志文件保留时间,超过保留时间的Binlog日志会被自动删除,应保留至少2天的日志文件。 “gtid_mode = on”和“enforce_gtid_consistency = on”仅当MySQL的版本大于等于5.6.5时才需要添加,否则删除这两行内容。 按“Esc”退出输入模式,然后输入“:wq”并回车,保存退出。 执行以下命令重启MySQL数据库。 service mysqld restart 以root用户登录数据库,执行以下命令,查询变量log_bin的值是否为“ON”,即是否已开启Binlog。 show variables like 'log_bin'; (可选):当创建MySQL CDC任务Schema映射时,MySQL数据库需要先开启配置项:binlog_rows_query_log_events =1;可在如上第 e 步骤中配置。 在数据库中执行以下命令创建ROMA Connect连接数据库的用户并配置权限。 CREATE USER 'roma'@'%' IDENTIFIED BY 'password'; GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'roma'@'%'; 其中: roma为ROMA Connect连接用户名,请根据实际规划设置。 password为ROMA Connect连接用户密码,请根据实际规划设置。 (可选)如果MySQL数据库版本为8.0,则需要执行以下命令,修改数据库连接用户的密码认证方式。 ALTER USER roma IDENTIFIED WITH mysql_native_password BY 'password'; 其中: roma为2中创建的数据库连接用户名。 password为数据库连接用户的密码。 执行以下命令退出数据库连接。 exit;
  • 脚本配置示例 { "scope": "basic", "default_interval": 60, "default_time_unit": "second", "api_limit": 100, "app_limit": 50, "user_limit": 50, "ip_limit": 20, "specials": [ { "type": "app", "policies": [ { "key": "e9230d70c749408eb3d1e838850cdd23", "limit": 10 } ] }, { "type": "user", "policies": [ { "key": "878f1b87f71c40a7a15db0998f358bb9", "limit": 10 } ] } ], "algorithm": "counter", "parameters": [ { "id": "3wuj354lpptv0toe0", "value": "reqPath", "type": "path", "name": "reqPath" }, { "id": "53h7e7j11u38l3ocp", "value": "method", "type": "method", "name": "method" }, { "id": "vv502bnb6g40td8u0", "value": "Host", "type": "header", "name": "Host" } ], "rules": [ { "match_regex": "[\"Host\",\"==\",\"www.abc.com\"]", "rule_name": "u8mb", "time_unit": "second", "interval": 2, "limit": 5 } ] }
  • 操作步骤 进入购买ROMA Connect实例页面。 在购买ROMA Connect实例页面中填写实例配置信息,系统会根据您选择的“实例规格”和“购买时长”自动计算费用,然后单击“立即购买”。 表1 实例配置参数 参数 配置说明 计费模式 选择实例的计费模式,可选择“包年/包月”。 区域 选择实例所在的区域,不同区域的实例之间内网互不相通,请选择您的业务就近区域购买实例,以减少网络时延,提高访问速度。 可用区 选择实例所在的可用区,不同可用区之间物理隔离,但内网互通。 如果您需要提高ROMA Connect运行的可靠性,建议您将实例创建在不同的可用区内。 如果您需要较低的网络时延,建议您将实例创建在相同的可用区内。 CPU架构 根据当前环境所支持的CPU架构,可选择项有所不同,选择“x86计算”或“鲲鹏计算”。 实例规格 选择实例的容量规格,请根据您的业务需要选择,实例创建后规格不可修改。 入门版:支持10个连接数,一般适用于5个以下系统的集成。入门版规格不支持设备集成能力。 基础版:支持25个连接数,一般适用于5~10个系统的集成。 专业版:支持80个连接数,一般适用于10~20个系统的集成。 企业版:支持200个连接数,一般适用于20~30个系统的集成。 铂金版:支持800个连接数,一般适用于30个以上系统的集成。 说明: 连接数和系统数仅用于ROMA Connect实例的规格选择参考,并非对实例内的资源数量(如集成任务数、API数和消息Topic数)的限制,与实例的资源配额之间并没有直接关联关系。 系统数说明:系统指的是用户的业务系统,系统数指ROMA Connect实例集成对接的业务系统数量。一个业务系统与ROMA Connect实例之间可以有多个连接。 连接数说明:业务系统和ROMA Connect的交互即为连接,使用不同功能所占用的连接数不同,具体的资源和连接数换算关系如下。 数据集成:2个运行状态的数据集成任务占用1个连接。 服务集成:10个托管类API(非自定义后端发布生成的API)占用1个连接;5个函数API或数据API占用1个连接。 消息集成:3个消息Topic占用1个连接。 设备集成:1000个设备占用1个连接。 例如,某企业的业务系统需要使用ROMA Connect进行业务集成:其中需要创建50个数据集成任务进行数据同步,但并行运行的数据集成任务最多为20个,则数据集成所需要使用的连接数为20/2=10;需要创建200个托管类API和20个数据API用于业务功能和数据的开放,则服务集成所需要使用的连接数为200/10+20/5=24;需要创建30个Topic用于系统间消息的连接,则消息集成需要使用的连接数为30/3=10;需要创建5000个设备,用于企业内资产的联网管理,则设备集成需要使用的连接数为5000/1000=5。因此,业务集成所需要使用的连接数总共为10(FDI)+24(APIC)+10(MQS)+5(LINK)=49,应选择“专业版”及以上规格的实例才能满足业务使用需要。 增强功能 仅当“实例规格”选择“基础版”及以上规格时可配置。 选择实例要包含的增强功能,可选择“应用业务模型(ABM)”。 企业项目 选择对应的企业项目,可将实例和企业项目关联。仅企业账号可见此配置项。 实例名称 填写实例的名称,根据规划自定义。 描述 填写实例的描述信息。 虚拟私有云 选择实例所关联的VPC和子网,VPC和子网须在准备资源中提前创建。 安全组 选择实例所关联的安全组。安全组须在准备资源中提前创建。 公网访问 是否开启公网访问ROMA Connect,请根据您的业务需要选择。 弹性IP地址 仅当“公网访问”开启时需要配置。 选择实例所关联的弹性公网IP,弹性公网IP须在准备资源中提前申请。 引擎版本号 选择实例所使用的Kafka服务端版本号,当前支持1.1.0、2.7版本,根据实际情况选择。 消息集成(MQS)容量阈值策略 实例中MQS消息存储达到容量阈值时(存储空间的95%)的处理策略,请根据您的业务需要选择。 生产受限:拒绝消息生产请求,直到有消息到达老化时间被删除,腾出存储空间后(剩余存储空间大于5%),才能接收新的消息生产请求。此策略适用于消息消费处理较慢,或者对存量消息需要反复消费,不能提前删除的场景。 自动删除:自动删除最老的消息(消息总量的10%),腾出存储空间,以接收新的消息生产请求,消息生产业务不受影响。此策略适用于消息消费处理较快,不存在长时间未处理消息的场景。 数据加密传输 SASL_SSL 选择是否开启消息传输的SASL认证和SSL加密,建议您开启SASL认证和SSL加密,提高数据传输的安全性。 数据加密传输 SASL_SSL一旦开启后将无法修改,请根据实际业务需要选择是否启用。 VPC内网明文访问 仅当“数据加密传输 SASL_SSL”开启时可配置。 选择VPC内部是否使用明文访问。 若开启了VPC内网明文访问,则VPC内无法使用SASL方式连接消息集成的Topic,即连接Topic时无需使用证书。 购买时长 实例的购买时长,最短1个月。 您可根据需要选择勾选自动续费,按月购买的自动续费周期为1个月,按年购买的自动续费周期为1年。 在规格确认界面勾选同意协议的选项,然后单击“去支付”,在支付页面付费成功后开始创建实例。 实例创建大概需要18-25分钟,请耐心等待。实例创建成功后,在控制台的“实例”页面可看到该实例的状态为“运行中”。 如果创建实例失败,可删除创建失败的实例,然后重新创建实例。如果重新创建仍然失败,请联系技术支持。
共100000条