-
配置MRS Spark数据连接 - 数据治理中心 DataArts Studio
如果没有可用的CDM集群,请先进行创建。 CDM集群作为网络代理,必须和MRS集群网络互通才可以成功创建MRS连接,为确保两者网络互通,CDM集群必须和MRS集群处于相同的区域、可用区、VPC和子网,安全组规则需允许两者网络互通。 说明: CDM集群作为管理中心数据连接Agent
-
配置RDS数据连接 - 数据治理中心 DataArts Studio
群。如果没有可用的CDM集群,请先进行创建。 CDM集群作为网络代理,必须和RDS网络互通才可以成功创建RDS连接,为确保两者网络互通,CDM集群必须和RDS处于相同的区域、可用区、VPC和子网,安全组规则需允许两者网络互通。 说明: CDM集群作为管理中心数据连接Agent时,
-
定义识别规则 - 数据治理中心 DataArts Studio
*规则模板 规则类型选择“内置”,呈现此参数。 如果选择按模板添加,系统内置了70+条敏感数据识别和脱敏规则,可对个人敏感信息(手机号码、电话号码、银行卡、信用卡等)、企业敏感信息(财政资产信息、企业交付信息等)、密钥敏感信息(DSA密钥、RSA密钥等)、设备敏感信息(IPv4地
-
配置MRS Doris数据连接 - 数据治理中心 DataArts Studio
如果没有可用的CDM集群,请先进行创建。 CDM集群作为网络代理,必须和MRS集群网络互通才可以成功创建MRS连接,为确保两者网络互通,CDM集群必须和MRS集群处于相同的区域、可用区、VPC和子网,安全组规则需允许两者网络互通。 说明: CDM集群作为管理中心数据连接Agent
-
配置ORACLE数据连接 - 数据治理中心 DataArts Studio
建Oracle的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请先通过数据集成增量包进行创建。 CDM集群作为网络代理,必须和Oracle网络互通才可以成功创建Oracle连接。 说明: CDM集群作为管理中心数据连接Agent时,单集群的并发活动线程最大为200。
-
场景介绍 - 数据治理中心 DataArts Studio
→ OBS → CDM(华为云) → MRS DES适用场景:数据量大,用户私有云与华为云无专线打通,用户私有云网络到公网带宽有限。 优点:传输可靠性高,受专线以及网络质量影响较小。 缺点:迁移方式耗时较长。 父主题: 案例:车联网大数据业务上云
-
创建审批人 - 数据治理中心 DataArts Studio
user_id 是 String 审批人ID。 email 否 String 邮箱地址。 最大长度:500 phone_number 否 String 电话号码。 email_notify 否 Boolean 邮件通知。 缺省值:true sms_notify 否 Boolean 短信通知。 缺省值:true
-
新建连接 - 数据治理中心 DataArts Studio
如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 如果目标数据源为云上服务(如DWS、MRS及ECS等),则网络互通需满足如下条件: CDM集
-
管理通知 - 数据治理中心 DataArts Studio
主题。 终端协议 是 配置该参数前,请确保工作空间默认项设置中已配置作业告警通知主题。 通知方式选择“按责任人”时才需配置。 短信 邮件 电话 单击“校验联系方式”,系统会自动校验未配置责任人信息的作业名称。 单击“查看订阅信息”,会自动跳转到终端订阅管理界面查看已配置的终端订阅信息。
-
新建数据连接 - 数据治理中心 DataArts Studio
在创建数据连接前,请确保待连接的数据湖与DataArts Studio实例之间网络互通。 如果数据湖为云下的数据库,则需要通过公网或者专线打通网络,确保数据源所在的主机可以访问公网,并且防火墙规则已开放连接端口。 如果数据湖为云上服务(如DWS、MRS等),则网络互通需满足如下条件: DataArts Studio实例(指DataArts
-
开发一个Python作业 - 数据治理中心 DataArts Studio
thon”,提供数据开发模块与ECS主机通信的代理。 请确保ECS主机与CDM集群网络互通,互通需满足如下条件: CDM集群与ECS主机同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由
-
DES迁移一个月前的历史数据 - 数据治理中心 DataArts Studio
止作业。 如果作业出现大批量的失败: 先检查DES盒子是否被写满。如果写满,需要清除最近写入的目录,保证后面写入的数据都是完整的。 再检查网络是否连通。 检查客户的HDFS集群。检查是否有指标异常的现象,如果有,则需要暂停迁移任务。 父主题: 案例:车联网大数据业务上云
-
CDM有哪些优势? - 数据治理中心 DataArts Studio
支持数据库、Hadoop、NoSQL、数据仓库、文件等多种类型的数据源。 多种网络环境支持 随着云计算技术的发展,用户数据可能存在于各种环境中,例如公有云、自建/托管IDC、混合场景等。在异构环境中进行数据迁移需要考虑网络连通性等因素,给开发和维护都带来较大难度。 无论数据是在用户本地自建的IDC中(Internet
-
指定文件名迁移 - 数据治理中心 DataArts Studio
迁移。 迁移文件或对象时支持文件级增量迁移(通过配置跳过重复文件实现),但不支持断点续传。 例如要迁移3个文件,第2个文件迁移到一半时由于网络原因失败,再次启动迁移任务时,会跳过第1个文件,从第2个文件开始重新传,但不能从第2个文件失败的位置重新传。 文件迁移时,单个任务支持千万
-
指定文件名迁移 - 数据治理中心 DataArts Studio
迁移。 迁移文件或对象时支持文件级增量迁移(通过配置跳过重复文件实现),但不支持断点续传。 例如要迁移3个文件,第2个文件迁移到一半时由于网络原因失败,再次启动迁移任务时,会跳过第1个文件,从第2个文件开始重新传,但不能从第2个文件失败的位置重新传。 文件迁移时,单个任务支持千万
-
基本概念 - 数据治理中心 DataArts Studio
过程中,您需要用到账号、用户和密码等信息。 项目 区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以默认项目为单位进行授权,用户可以访问您账号中该区域的所有资源。如果您希望进行更加精细的权限控制,可以在区域默认的项目中创建子项目
-
配置HDFS连接 - 数据治理中心 DataArts Studio
如果选择集群后连接失败,请检查MRS集群与作为Agent的CDM实例是否网络互通。网络互通需满足如下条件: DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,
-
配置HBase连接 - 数据治理中心 DataArts Studio
如果选择集群后连接失败,请检查MRS集群与作为Agent的CDM实例是否网络互通。网络互通需满足如下条件: DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,
-
配置DIS数据连接 - 数据治理中心 DataArts Studio
默认全选。全选适用组件后,在支持该数据源的组件内都可以使用本连接。各组件支持的数据源请参考DataArts Studio支持的数据源。 基础与网络连通配置 目标项目ID 是 使用DIS Client节点发送消息至目标DIS通道时,目标通道所在的项目ID。 目标Region 是 使用DIS
-
步骤2:准备工作 - 数据治理中心 DataArts Studio
如果选择集群后连接失败,请检查MRS集群与作为Agent的CDM实例是否网络互通。网络互通需满足如下条件: DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,