检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
跨Region通过云连接连通网络 在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在华为云,且与Migration资源组不同Region场景下,通过云连接打通网络的方案。
同Region不同租户通过对等连接连通网络 在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在华为云,且与Migration资源组同Region不同租户的场景下,通过对等连接打通网络的方案。
和数据服务等不同阶段。在数据动态流动场景下,可通过数据访问控制、数据脱敏等安全防护措施保障数据全链路、全生命周期安全能力。例如:数据入湖阶段,支持对敏感字段进行脱敏设置,支持对数据源连接进行管控,控制对数据源的访问权限;分析师查询数据时,支持通过动态脱敏策略或字段访问权限来保护敏感数据。
同Region不同租户通过企业路由器连通网络 在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在华为云,且与Migration资源组同Region不同租户场景下,通过企业路由器打通网络的方案。
Studio是否支持私有化部署到本地或私有云? DataArts Studio必须基于华为云底座部署。资源隔离场景下,支持以全栈专属云模式部署,另外也支持以华为云Stack和HCS Online混合云模式部署。 关于全栈专属云、华为云Stack和HCS Online的适用场景和差异等更多信息,欢迎通过咨询了解。
作业抽取并发数的配置原则如下: 迁移的目的端为文件时,CDM不支持多并发,此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取,超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置,但不建议超过集群最大抽取并发数上限。 目的端为DLI数据源时,抽取
通常您的业务系统可能使用了华为云的多种云服务,您可以为这些云服务下不同的资源实例分别设置标签(对于DataArts Studio而言,标签作用于其实例上),各服务产生的计费详单中都会体现这些资源实例和实例上设置的标签。如果您的业务系统是由多个不同的应用构成,为同一种应用拥有的资源实例设置统一的标签
时间限定生成使用动态表达式:开关打开后,则使用动态时间表达式;如开关关闭,则默认使用原有的静态时间表达式。例如时间限定设置为最近30天:如果使用静态表达式,如果当前为9月,生成的最近30天的数据就是8月,即使当前到了10月,生成的数据还是8月,不能自动更新;如果使用动态表达式,当前到
务组。 “OBS”触发事件类型的参数(当前仅上海二区域支持) 说明: “OBS”触发事件类型的事件驱动调度,依赖于OBS的“事件通知 -> DIS通知”功能,由于OBS该功能在华为云暂未正式上线,因此当前暂时无法使用OBS触发事件类型。 OBS路径 选择要监听的OBS路径。如果该
源端为对象存储 JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig
敏感数据保护 隐私数据保护简介 静态脱敏任务 动态脱敏任务 管理数据水印 管理文件水印 管理动态水印策略 父主题: 数据安全
NARY_FILE”,且源端、目的端都为对象存储时,才有该参数。 选择“是”后,迁移对象文件时会复制源文件的Content-Type属性,主要用于静态网站的迁移场景。 归档存储的桶不支持设置Content-Type属性,所以如果开启了该参数,目的端选择写入的桶时,必须选择非归档存储的桶。
程度等各方面因素考虑,定义数据安全的关键数据为权限集(包含空间权限集、权限集以及通用角色)和动态脱敏策略。 前提条件 回收站中的数据依赖于权限集(包含空间权限集、权限集以及通用角色)和动态脱敏策略在30天内的删除操作。 约束与限制 仅DAYU Administrator、Tenant
into/overwrite等DML操作产生的MRS表之间的血缘。 CDM Job 支持MRS Hive、DLI、DWS、RDS、OBS以及CSS之间表文件迁移所产生的血缘。 ETL Job 支持DLI、OBS、MySQL以及DWS之间的ETL任务产生的血缘。 手动配置血缘 在DataArts Studio数
创建或更新安全管理员。 1800 20 动态数据脱敏接口 表15 动态数据脱敏接口 API 说明 API流量限制(次/10s) 用户流量限制(次/10s) 查询动态数据脱敏策略列表 查询动态数据脱敏策略列表。 3600 40 创建数据脱敏策略 创建动态数据脱敏策略。 1800 20 查询某个脱敏策略的详细信息
n Language,简称EL),根据运行环境动态生成参数值。可以根据Pipeline输入参数、上游节点输出等决定是否执行此节点。数据开发模块EL表达式使用简单的算术和逻辑计算,引用内嵌对象,包括作业对象和一些工具类对象。 作业对象:提供了获取作业中上一个节点的输出消息、作业调度计划时间、作业执行时间等属性和方法。
节点和两个Dummy节点,选中连线图标并拖动,编排图1所示的作业。 其中CDM节点的失败策略需要设置为“继续执行下一节点”。 图2 配置CDM节点的失败策略 右键单击连线,选择“设置条件”,在弹出的“编辑EL表达式”文本框中输入IF条件。 每一个条件分支都需要填写IF条件,IF条
供数据服务,为数据安全使用提供基础保障。 动态脱敏 在数据安全组件创建动态脱敏策略后,系统会将动态脱敏策略同步到数据源服务,由数据源对数据列按照指定规则进行动态脱敏。当策略中指定的用户和用户组在访问敏感数据时,系统会直接返回由数据源动态脱敏后的数据,保护敏感数据不被泄露。 数据水印
OpenSource ClickHouse数据连接参数说明 RDS数据连接参数说明 ORACLE数据连接参数说明 DIS数据连接参数说明 主机连接参数说明 OBS数据连接参数说明 Apache HDFS数据连接参数说明 MRS Hudi数据连接参数说明 Elasticsearch数据连接参数说明 Rest
实时集成任务运维 查看监控指标 查看同步日志 配置告警规则 动态修改任务配置 父主题: 数据集成(实时作业)