检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据目录[2] 数据质量[3] 数据服务 数据安全 数据仓库服务（DWS） √ √ √ √ √ √ √ 数据湖探索（DLI） √ √ √ √ √ √ √ MapReduce服务（MRS HBase） √ × × √ × × × MapReduce服务（MRS Hive） √ √ √ √
业务指标监控简介 当前，数据架构有完善的指标设计和管理能力，建议您后续使用数据架构的业务指标功能，数据质量的业务指标监控模块即将下线。 业务指标监控模块是对业务指标进行质量管理的工具。 为了进行业务指标监控，您可以先自定义SQL指标，然后通过指标的逻辑表达式定义规则，最后新建并调
数据质量监控简介 数据质量监控DQC（Data Quality Control）模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行、跨源和跨表的分析。数据质量支持对离线数据的监控，当离线数据发生变化时，数
执行数据搬迁的用户，至少应具备新旧两个工作空间的开发者权限。 CDM集群和数据服务专享版集群在工作空间之间相互隔离，建议您在新空间提前准备好对应旧空间的集群。 搬迁依赖于OBS功能，请您提前规划OBS桶和文件夹目录。 DataArts Studio数据搬迁时，依赖各组件的备份或导
简单模式与企业模式介绍 不同工作空间模式的介绍。 不同模式工作空间对生产任务开发与运维的影响 DataArts Studio建立于对应工作空间物理属性之上的任务开发与运维机制介绍。 不同模式工作空间的优劣势对比 不同工作空间模式的优劣势对比。 企业模式对使用流程的影响 介绍企业模式工作空间下的流程管控。
查看日志时，系统提示“OBS日志文件不存在，请检查文件是否被删除或者没有OBS写入权限。”怎么办？ 问题现象 查看数据开发的节点日志时，系统提示“OBS日志文件不存在，请检查文件是否被删除或者没有OBS写入权限”，如下图所示： 图1 提示信息 原因分析 数据开发的日志存储在OBS桶中，您所在
配置OBS目的端参数 支持使用CSV、CarbonData或二进制格式批量传输大量文件到OBS。 表1 OBS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 桶名 写入数据的OBS桶名。 bucket_2 写入目录 写入数据到OBS服务器的目录，目录前面不加“/”。
Studio的过程中，可能还会产生以下相关服务的费用，敬请知悉： OBS服务：在数据集成或数据开发时，DataArts Studio会将脏数据或日志文件写入到OBS服务中，则会产生对象存储服务费用，收费标准请参见OBS价格详情。 APIG服务：在使用数据服务共享版发布API到API网关共享
fromJobConfig.useQuery 否 Boolean 该参数设置为“true”时，上传到OBS的对象使用的对象名，为去掉query参数后的字符。 该参数设置为“false”时，上传到OBS的对象使用的对象名，包含query参数。 fromJobConfig.md5FileSuffix
数据权限简介 为确保数据使用安全可控，使用数据表需要先申请权限。 数据权限模块为用户提供便捷的权限管控能力，提供可视化申请审批流程，并可以进行权限的审计和管理。提高数据安全的同时，还可以方便用户进行数据权限管控。 数据权限模块包含数据目录权限、数据表权限和审批中心三大子模块。具备的功能如下所示：
源端为关系数据库 源端为对象存储 源端为HDFS 源端为Hive 源端为HBase/CloudTable 源端为FTP/SFTP 源端为HTTP/HTTPS 源端为MongoDB/DDS 源端为Redis 源端为DIS 源端为Kafka 源端为Elasticsearch/云搜索服务 父主题： 附：公共数据结构
不归档：不对脏数据进行存储，仅记录到任务日志中。 归档到OBS：将脏数据存储到OBS中，并打印到任务日志中。 不归档 脏数据写入连接 “脏数据策略”选择归档到OBS时显示该参数。 脏数据要写入的连接，目前只支持写入到OBS连接。 - 脏数据目录 脏数据写入的OBS目录。 - 脏数据阈值 是否写入脏数据为是时显示该参数。
单击“新建连接”来创建OBS连接，连接类型选择“对象存储服务（OBS）”后单击“下一步”，配置OBS连接参数，如图3所示。 图3 创建OBS连接 名称：用户自定义连接名称，例如“obslink”。 OBS终端节点：配置为OBS的域名或IP地址，例如“obs.myhuaweicloud
、hash等，并将脱敏后的数据写入到目标端数据表。而目标表数据可以用来对外提供数据服务，为数据安全使用提供基础保障。 动态脱敏 在数据安全组件创建动态脱敏策略后，系统会将动态脱敏策略同步到数据源服务，由数据源对数据列按照指定规则进行动态脱敏。当策略中指定的用户和用户组在访问敏感数
车联网大数搬迁入湖简介场景介绍 场景描述 为搭建H公司车联网业务集团级的云管理平台，统一管理、部署硬件资源和通用类软件资源，实现IT应用全面服务化、云化，CDM（Cloud Data Migration，简称CDM）助力H公司做到代码“0”改动、数据“0”丢失迁移上云。 约束限制
作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中，您也可以自定义日志和DLI脏数据存储路径，支持基于工作区全局配置OBS桶。 约束限制 该功能依赖于OBS服务。 OBS路径仅支持OBS桶，不支持并行文件系统。 前提条件 修改工作空间的用户账号，需要满足如下任一条件：
DMS Kafka到OBS参数调优 源端优化 Kafka抽取优化 可通过在源端配置中单击“Kafka源端属性配置”来添加Kafka优化配置。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 properties.fetch.max
作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中，您也可以自定义日志和DLI脏数据存储路径，支持基于工作区全局配置OBS桶。 约束限制 该功能依赖于OBS服务。 OBS路径仅支持OBS桶，不支持并行文件系统。 前提条件 修改工作空间的用户账号，需要满足如下任一条件：
Hive开启LDAP认证时配置的密码。 - OBS支持 需服务端支持OBS存储。在创建Hive表时，您可以指定将表存储在OBS中。 否 访问标识(AK) 当“OBS支持”参数选择为“是”时，此参数是必选项。请注意，此处AK/SK对应的账号应具备OBS Buckets Viewer系统权限，否则会无法访问OBS并报“403
准备工作简介 您需要完成注册华为账号、购买DataArts Studio实例、访问DataArts Studio实例控制台、管理工作空间、授权用户使用DataArts Studio等一系列准备工作，才能开始DataArts Studio的正式使用。 需要进行的准备工作如下图所示，具体操作请参考后续章节。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
