检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
附:公共数据结构 连接参数说明 源端作业参数说明 目的端作业参数说明 作业任务参数说明 父主题: 数据集成API
定义数据密级 为了方便对数据进行管理,在对数据进行操作前,需要您为数据定义密级,并对保密等级做相应的描述,例如明确涉密的范围。本章主要介绍如何定义数据密级并配置默认密级。 值得注意的是,数据密级、数据分类和识别规则,均为DataArts Studio实例级别配置,各工作空间之间数
上传存量数据 使用华为云专线,搭建用户本地数据中心与华为云VPC之间的专属连接通道。 创建OBS桶,并记录OBS的访问域名、端口和AK/SK。 创建CDM集群。 DataArts Studio实例中已经包含一个CDM集群(试用版除外),如果该集群已经满足需求,您无需再购买数据集成增量包,可以跳过这部分内容。
邮箱:用于审批及消息通知。 创建数据库连接的相关信息:包括用于创建数据库类型数据源所需的数据库IP、端口、用户名、密码和密钥对密码。 创建DIS以及对象存储类型连接的相关信息:包括用于创建DIS/对象存储类型数据连接所需的Access key、Secret Access Key。 数据存储安全 DataArts
Object 返回的数据信息。 状态码: 404 表9 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DS.6000,请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 请求示例 删除数据标准。 DELETE
成整个数据的处理分析流程。 在DataArts Studio数据开发模块中,您将完成以下步骤: 数据管理 脚本开发 作业开发 历史数据到源数据表,使用数据集成将历史数据从OBS导入到SDI贴源层的原始数据表。 历史数据清洗,使用数据开发的MRS Hive SQL脚本将源数据表清洗之后导入DWI层的标准出行数据表。
步骤8:数据资产查看 在DataArts Studio数据目录模块中,您可以查看数据地图,详情请参见数据目录章节。数据地图包含业务资产和技术资产,业务资产就是指逻辑实体和业务对象,技术资产就是指数据连接、数据库对象等。 本章节介绍如何在DataArts Studio数据目录中查看
什么是数据血缘关系? 大数据时代,数据爆发性增长,海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息,通过联姻融合、转换变换、流转流通,又生成新的数据,汇聚成数据的海洋。 数据的产生、加工融合、流转流通,到最终消亡,数据之间自然会形成一种关系。我们借鉴人类社会中类似的一种关
object 接口返回的数据。 表5 data 参数 参数类型 描述 value value object 查询数据标准模板结果 表6 value 参数 参数类型 描述 allFields Array of StandElementFieldVO objects 数据标准全部属性,集合
Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“配置管理 > 资源管理”。单击“新建资源”,在数据开发模块中创建一个资源关联到1的JAR包,资源名称为“spark-example”。 图1 创建资源 提交Spark作业 用户需要在数据开发模块中创建一个作业,通过作业的DLI
血缘信息接口 元数据采集任务接口 元数据采集任务接口 数据地图接口 数据地图接口 对应类型的所有API共享100次/s的API流量限制 对应类型的所有API共享50次/s的用户流量限制 业务资产接口 表2 业务资产接口 API 说明 查询业务资产 查询业务资产,包含数据规范同步过来的业务对象和逻辑实体。
分析图数据 通过GES直接对图数据进行可视化分析。 前提条件 已完成开发并调度Import GES作业,且作业运行成功。 通过GES分析数据 进入图引擎服务GES控制台,在“图管理”页面中单击对应图后的“访问”按钮。 图1 访问图 参考访问图和分析图,对导入的图数据进行可视化分析。
如何创建数据库和数据表,数据库对应的是不是数据连接? 问题描述 用户对于创建数据库和数据表,数据库与数据连接的关系不清楚,需要具体解释下,便于用户理解。 解决方案 数据库和数据表可以在DataArts Studio服务中创建。 数据库对应的不是数据连接,数据连接是创建DataArts
数据治理度量评分规则 数据治理成熟度评估分5个级别: 级别1是最低级别,数据治理处于初始级别,空白状态,没有相关流程及数据治理管控。 级别2是开始管理级别,仍处于匮乏状态,没有形成正式一致的数据治理方法。 级别3是明确定义级别,处于可改进状态,已经形成了主动治理的流程和正式一致的数据治理方法。
上传增量数据 使用CDM将存量数据上传完后,单击该作业后的“编辑”,直接修改该作业。 保持作业基本参数不变,单击“下一步”修改任务参数,如图1所示。 图1 定时任务配置 勾选“是否定时执行”,配置定时任务: “重复周期”配置为1天。 “开始时间”配置为每天凌晨0点1分执行。 这样
查看数据标准详情 功能介绍 通过ID获取数据标准详情信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/standards/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目
qualified_name 否 String 数据连接限定名称。 dw_id 否 String 数据连接id,可通过数据连接列表中获取。 create_user 否 String 数据连接创建者。 create_time 否 Number 数据连接创建时间,时间戳。 响应参数 状态码:
华为数据治理案例 华为数据治理思考 华为数据治理实践 华为数据治理效果
管理能力,落地数据的加密需求。 数据脱敏是通过一定的规则对特定数据对象进行变形的一类技术,用于防止数据泄露和违规使用等。 数据水印技术通过对数据进行处理使其承载特定信息,使得数据具备追溯数据所有者与分发对象等信息的能力。在数据处理过程中起到威慑及追责的作用。 数据泄密防护技术通过
管理数据水印 嵌入数据水印 溯源数据水印 父主题: 敏感数据保护