检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本实践通过DataArts Studio服务的数据开发DLF组件和数据湖探索服务(DLI)对某电商商城的用户、商品、评论数据(脱敏后)进行分析,输出用户和商品的各种数据特征,可为营销决策、广告推荐、信用评级、品牌监控、用户行为预测提供高质量的信息。在此期间,您可以学习到数据开发模块脚本编辑、作业编辑
关联属性与数据标准 功能介绍 关联属性与数据标准。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/standards/attribute 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项
管理能力,落地数据的加密需求。 数据脱敏是通过一定的规则对特定数据对象进行变形的一类技术,用于防止数据泄露和违规使用等。 数据水印技术通过对数据进行处理使其承载特定信息,使得数据具备追溯数据所有者与分发对象等信息的能力。在数据处理过程中起到威慑及追责的作用。 数据泄密防护技术通过
补数据场景使用介绍 适用场景 在某项目搬迁场景下,当您需要补充以前时间段内的历史业务数据,需要查看历史数据的详细信息时,可以使用补数据特性。 补数据是指作业执行一个调度任务,在过去某一段时间里生成一系列的实例。用户可以通过补数据,修正历史中出现数据错误的作业实例,或者构建更多的作业记录以便调试程序等。
oracle_link 数据库服务器 数据库服务器域名或IP地址。 192.168.0.1 端口 Oracle数据库的端口。 3306 数据库连接类型 Oracle数据库连接类型。 Service Name 数据库名称 要连接的数据库。 db_user 用户名 拥有Oracle数据库的读取权限的用户。
Boolean 是否禁用。 id 否 String 数据标准ID,ID字符串。 actived 是 Boolean 是否显示,系统默认项必然显示不允许修改。true表示使用数据标准时体现(增改查的时候可以操作该属性),false表示使用数据标准时不体现。 required 否 Boolean
息。当数据源类型为DLI时,该参数需要填写为DLI。 database_name 是 String 数据库名称。获取方法请参见获取数据源中的表。 table_id 否 String 数据表id,获取方法请参见获取数据源中的表。 table_name 是 String 数据表名称,
200 Success,返回data数据是该目录及其子目录下的全部数据标准集合,以及总数。 400 失败,用户请求非法。 401 失败,用户身份认证失败。 403 失败,用户无权限调用此API。 404 失败,用户请求API不存在。 父主题: 数据标准接口
QL中的原始样例数据需要导入OBS中,并标准化为点数据集和边数据集。 MySQL到MRS Hive迁移作业:正式业务流程中,需要将MySQL中的原始样例数据需要导入MRS Hive中,并标准化为点数据集和边数据集。 创建集群 批量数据迁移集群提供数据上云和数据入湖的集成能力,全向
支持的数据源 实时集成作业支持的数据源如表1所示。 表1 实时集成作业支持的数据源 数据源分类 源端数据源 对应的目的端数据源 相关文档 关系型数据 MySQL Hadoop:MRS Hudi MySQL同步到MRS Hudi作业配置 消息系统:DMS Kafka MySQL同步到DMS
停止补数据实例 功能介绍 停止指定的补数据实例。只有补数据实例的状态是运行中,才能停止补数据实例。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v2/{project_id}/factory/supplement-dat
参考:CDM性能实测数据 背景说明 文中提供的性能指标仅用于参考,实际环境会受源或目标数据源性能、网络带宽及时延、数据及业务模型等因素影响。推荐您在正式迁移前,可先用小数据量实测进行速度摸底。 环境信息 CDM集群为xlarge规格,2.9.1 200版本。 性能测试中,表数据规格为500
批量删除数据密级 功能介绍 批量删除数据密级。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/data-classification/secrecy-level/batch-delete 表1 路径参数 参数 是否必选 参数类型
参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 表3 参数说明 参数名 是否必选 参数类型 说明 approvers 否 List<JobApprover>
维度建模 新建维度 管理维度表 新建事实表 父主题: 模型设计
步骤3:数据集成 本章节将介绍如何使用DataArts Studio数据集成将源数据批量迁移到云上。 创建集群 批量数据迁移集群提供数据上云和数据入湖的集成能力,全向导式配置和管理,支持单表、整库、增量、周期性数据集成。DataArts Studio基础包中已经包含一个数据集成的集
qualified_name 否 String 数据连接限定名称。 dw_id 否 String 数据连接id,可通过数据连接列表中获取。 create_user 否 String 数据连接创建者。 create_time 否 Number 数据连接创建时间,时间戳。 响应参数 状态码:
like_count desc LIMIT 10 图2 脚本(分析10大用户关注最多的产品) 关键参数说明: 数据连接:步骤4中创建的DLI数据连接。 数据库:步骤6中创建的数据库。 资源队列:可使用提供的默认资源队列“default”。 当前由于DLI的“default”队列默认S
选择全部,单击右键,可新建目录、重命名目录和删除目录。 新建规则 在DataArts Studio控制台首页,选择对应工作空间的“数据质量”模块,进入数据质量页面。 选择“业务指标监控 > 规则管理”。 单击“新建”,在弹出的对话框中,参见表2配置相关参数,新建规则。 表2 配置业务规则参数
dw_name 是 String 数据连接名称,创建时自定义,编辑时通过数据连接列表获取。 dw_type 是 String 数据连接类型,如:DWS、DLI、HIVE、RDS、SparkSQL等,可在console界面查看所有数据连接类型,编辑时通过数据连接列表获取。 dw_config