正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建集群 连接管理 连接管理实现的能力如下: 支持DLI、MRS Hive、Spark SQL、DWS、MySQL、主机等连接管理。 支持代理连接、直连、MRS API等连接方式。 创建连接 作业管理 作业管理可以实现在同构、异构数据源之间进行表或文件级别的数据迁移,支持表/文件迁移的数据源请参见支持的数据源。
操作历史”。 查看操作历史记录相关数据。 可以通过时间筛选,查看指定操作时间段内的历史操作数据。 可以对“涉及对象”进行过滤,查看作业名称或节点名称相关的历史操作数据。 可以通过模糊查询,查看相关的历史操作数据。 可以对“操作对象”、“操作类型”、“操作人”和“状态”进行过滤,查看相关的历史操作数据。
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 obs_link OBS终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。您可以通过以下方式获取OBS桶的Endpoint信息: OBS桶的Endpoint,可以进入
“数据集成”参数开启时,呈现此参数。 通过KMS加密和解密用户密码和密钥对的密码,选择KMS中已创建的密钥。 绑定Agent 是 “数据集成”参数开启时,呈现此参数。 通过代理连接时,需要选择CDM集群,CDM集群提供Agent。此处支持最多选择3个Agent,以提升可靠性。 数据集成配置 配置文件路径 是 “是
数据集成CDM集群可用于如下场景: 用于创建并运行数据迁移作业,提供数据上云和数据入湖的集成能力。 作为在管理中心创建连接时的Agent代理,为DataArts Studio实例和数据源直接提供网络通道。 DataArts Studio实例中已经包含一个仅用于测试、试用等非正式业务场景的CDM集群(试用版除外)。
Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建RDS类型的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请先进行创建。 CDM集群作为网络代理,必须和RDS网络互通才可以成功创建RDS连接,为确保两者网络互通,CDM集群
套餐包到期未续订或按需资源欠费时,我的数据会保留吗? 如何查看套餐包的剩余时长? DataArts Studio实例中的CDM没有计费是什么原因? 为什么会提示每日执行节点个数超过上限,应该怎么处理?
Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建RDS类型的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请先进行创建。 CDM集群作为网络代理,必须和RDS网络互通才可以成功创建RDS连接,为确保两者网络互通,CDM集群
IAM的Endpoint 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。Endpoint您可以从终端节点及区域说明获取。 iam_endpoint CDM的Endpoint 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。本服
SensitiveDataCategoryOverviewQueryDTO 参数 参数类型 描述 root_id String 当前分类节点的根节点id。 parent_id String 当前分类节点的父节点id。 category_id String 分类的Id。 category_name String 分类的名称。
Import GES作业节点运行 ECS ecs:servers:list ecs:servers:get ecs:servers:stop ecs:servers:start ecs:cloudServers:list Open/Close Resource作业节点运行,创建主机连接
数据治理实施方法论 数据治理实施方法论按照数据治理成熟度评估->评估现状、确定目标、分析差距->计划制定、计划执行->持续监测度量演进的关键实施方法形成数据治理实施闭环流程。 图1 数据治理实施方法论 这也遵循了PDCA(Plan-Do-Check-Action)循环的科学程序,
Administrator或者数据安全管理员可以创建、修改或删除数据密级、分类和识别规则,其他普通用户无权限操作。 当前支持在不同的父节点下创建同名的分类,但同一父节点下不能创建同名的分类。 导入预置数据分类时,需要先为所有的预置规则配置数据密级,才能导入预置数据分类。 导入预置数据分类时,
DataArts Studio使用流程 数据治理中心DataArts Studio是具有数据全生命周期管理、智能数据管理能力的一站式治理运营平台,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除
据连接。 针对通过代理连接的MRS Hive,需要选择MRS API方式或者代理方式提交: MRS API方式:通过MRS API的方式提交。历史作业默认是MRS API提交,编辑作业时建议不修改。 代理方式:通过用户名、密码访问的方式提交。新建作业建议选择代理提交,可以避免权限问题导致的作业提交失败。
HDFS URI 客户CDH集群中HDFS的NameNode URI地址。 hdfs://192.168.2.3:9000 OBS OBS终端节点 OBS的Endpoint。 obs.cn-north-1.myhuaweicloud.com OBS桶 存放CDH一个月前历史数据的OBS桶。
网络环境准备 如图1所示,专享版集群创建后,资源位于资源租户区,由ELB统一对集群节点进行负载均衡。 专享版集群创建后,您可以通过如下途径访问集群API: 内网地址:内网地址为用户VPC内的终端节点IP地址,默认具备。 外网地址(可选):外网地址为绑定在ELB上的EIP地址。EI
父目录ID,没有则为根目录。填写String类型替代Long类型。 prev_id String 上个节点ID,没有则为首节点。填写String类型替代Long类型。 next_id String 下个节点ID,没有则为尾节点。填写String类型替代Long类型。 id String 创建时传空,更新
组”。 JSON对象 记录节点 当“文件格式”选择为“JSON格式”并且“JSON类型”为“JSON对象”时,才有该参数。对该JSON节点下的数据进行解析,如果该节点对应的数据为JSON数组,那么系统会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割。 data
桶类型分为对象桶和并行文件系统,对象桶过滤文件会比较慢,建议客户使用并行文件桶。 linkConfig.server 是 String OBS服务器的终端节点(Endpoint)。 linkConfig.port 是 String 数据传输协议端口,https是443,http是80。 linkConfig