检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文件迁移时,单个任务支持千万数量的文件,如果待迁移目录下文件过多,建议拆分到不同目录并创建多个任务。 用户在CDM上配置的连接和作业支持导出到本地保存,考虑到密码的安全性,CDM不会将对应数据源的连接密码导出。因此在将作业配置重新导入到CDM前,需要手工编辑导出的JSON文件补充密码或在导入窗口配置密码。
上的用户/用户组/角色,因此需要切换用户同步策略。操作详情请参考配置Ranger组件。 Ranger连接用户权限 连接中的用户具备Ranger组件Admin权限。 Ranger连接中的用户需要具备Ranger组件Admin权限,操作详情请参考准备Ranger Admin用户。 DWS集群guest_agent版本
删除CDM集群后集群以及数据都销毁且无法恢复,请您谨慎操作! 删除集群前,请您确认如下注意事项: 待删除集群确认已不再使用。 待删除集群中所需的连接和作业数据已通过批量管理CDM作业中的导出作业功能进行备份。 对于购买DataArts Studio服务时系统赠送的CDM集群,非常不建议
在左侧导航栏单击“数据目录”,选择“业务资产”页签,然后在筛选条件中选择业务对象,将显示符合条件的业务资产。 选择“技术资产”页签,然后在筛选条件中“数据连接”选择所需查看的连接,“类型”选择“Table”,右侧页面将显示符合条件的所有的元数据。 图1 技术资产 在资产列表中,单击所需查看的元数据名称,即可查看详情信息。
任务。 约束条件 已完成新建数据连接的操作。 已完成新建数据库的操作。 使用案例 创建SQL脚本 在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 创建一个SQL脚本。本案例以MRS SPARK SQL为例。 选择已创建好的数据连接和数据库。 编写SQL脚本,从源表
配置脱敏策略 本节介绍如何创建数据脱敏策略,然后在数据目录中进行脱敏查询。 前提条件 数据分类规则已创建,数据分类规则的创建请参见新建数据分类。 数据连接,数据表已创建成功,敏感数据已被数据目录采集。 创建脱敏策略 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选
Hive、DLI、DWS等,除此之外也支持采集以下数据源的元数据: 关系型数据库,如MySQL/PostgreSQL等(可使用RDS类型连接,采集其元数据) 云搜索服务CSS 图引擎服务GES 对象存储服务OBS MRS Hudi组件(MRS Hudi作为一种数据格式,元数据存
数据连接 数据连接下所有数据库评分的加权平均值,即:∑数据连接下所有数据库的评分/数据库的数量。 在DataArts Studio控制台首页,选择对应工作空间的“数据质量”模块,进入数据质量页面。 选择“数据质量监控 > 质量报告”。 在“技术报告”页签,选择数据连接及时间段
数据开发中的作业对应于Job类型,节点对应于Node类型,表对应于Table类型。 数据开发中的作业信息不属于任何一个数据连接,故如果在搜索条件中勾选数据连接,则查询不到结果。 图2 选择类型 在数据资产搜索结果中,类型名称末尾带“_job”的数据资产为作业,单击某一作业名称,可
3-64个字符。 请求Path 入口API访问路径即API工作流访问路径,例如:/getUserInfo。 请求Path即完整的URL中,域名之后、查询参数之前的部分,如图1中的“/blogs/xxxx”。 图1 统一资源定位符URL说明 在请求Path中,可以使用大括号{}标识
HBase的版本号。 待迁移的表在迁移过程中不能有写入,Split,Merge等操作。 使用华为云专线搭建CDH集群与华为云VPC之间的专属连接通道。 迁移流程 预估迁移数据量、迁移时间。 输出详细待迁移数据表、文件个数、大小,用于后续校验。 分批配置迁移任务,保证迁移进度与速度。
地图等):dayu.{region_id}.myhuaweicloud.com,具体如表3所示。 表1 CDM数据集成Endpoint 区域名称 区域ID 终端节点(Endpoint) 协议类型 华北-北京一 cn-north-1 cdm.cn-north-1.myhuaweicloud
选择空间权限集,空间权限集权限范围应已包含所需资源权限。 *数据源类型 当前支持Hive、DWS、DLI。 *集群名称 选择要申请的资源所在的集群。 *数据连接 选择要申请的资源所在的数据连接。 资源选择 *待添加资源 在导航树上选择数据库后,勾选所需的数据表,单次申请时支持选择不同数据库下的表。 说明: 当前仅
业务资产和指标资产来自于数据架构组件,会随数据架构同步的数据更新,但不支持随之删除。如需删除需要在数据目录中定位到资产后手动删除。 技术资产中的数据连接信息来自于管理中心的数据连接,会随管理中心同步的数据更新,但不支持随之删除。如需删除需要在数据目录中定位到资产后手动删除。 技术资产中的库表列等信息来自
置为访客。 表1 企业模式内的权限 - 简单空间 企业空间 管理者 拥有生产环境管理中心的所有权限,包含连接配置、数据导入导出等。 增加了部署相关的新操作 进行管理中心的连接配置、环境隔离配置,数据导入导出等 进行数据开发配置,比如环境配置、调度身份配置、配置默认项等 开发者 拥有生产环境的作业及脚本开发的所有权限。
avg_rating desc limit 10 图2 脚本(top_rating_movie) 关键参数说明: 数据连接:步骤4中创建的DWS数据连接。 数据库:步骤6中创建的数据库。 脚本调试无误后,单击“保存并提交版本”提交该脚本,脚本名称为“top_rating_mo
参数”怎么办? 启用细粒度认证时,DWS联通性检测报错“FATAL: Invalid username/password,login denied”怎么办? 启用细粒度认证后,在数据开发组件选择数据库时报错“Failed to obtain the database”怎么办? 为
产品优势 一站式数据运营平台 贯穿数据全流程的一站式治理运营平台,提供全域数据集成、标准数据架构、连接并萃取数据价值、全流程数据质量监控、统一数据资产管理、数据开发服务等,帮助企业构建完整的数据中台解决方案。 全链路数据治理管控 数据全生命周期管控,提供数据架构定义及可视化的模型
系统加固:CDM实例的操作系统进行了特别的安全加固,攻击者无法从Internet访问CDM实例的操作系统。 密钥加密:用户在CDM上创建连接输入的各种数据源的密钥,CDM均采用高强度加密算法保存在CDM数据库。 无中间存储:数据在迁移的过程中,CDM只处理数据映射和转换,而不会存储任何用户数据或片段。
参考实时集成资源组关联工作空间。 数据库准备 连接源和目标数据库以及对应连接账号权限准备。 说明: 建议创建单独用于Migration任务连接的数据库账号,避免因为账号修改导致的任务连接失败。 连接源和目标数据库的账号密码修改后,请尽快修改Migration任务中的连接信息,避免任务连接失败后的自动重试导致数据库账号被锁定,影响使用。