-
配置Hive目的端参数 - 数据治理中心 DataArts Studio
COMPUTE STATISTICS 说明: “执行Analyze语句”参数配置仅用于单表迁移场景。 是 Hive作为目的端时,会自动创建存储格式为ORC的表。 由于文件格式限制,当前仅支持ORC与Parquet格式写入复杂类型。 源端Hive包含array和map类型时,目的端
-
审计与日志 - 数据治理中心 DataArts Studio
云审计服务(Cloud Trace Service,以下简称CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可记录的DataArts Studio操作列表详见如何
-
概述 - 数据治理中心 DataArts Studio
据管理能力的一站式治理运营平台,包含数据集成、数据架构、数据开发、数据质量、数据目录、数据服务等功能,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。
-
MySQL数据迁移到DWS - 数据治理中心 DataArts Studio
更多压缩级别详细说明请参见压缩级别。 存储模式:可以根据具体应用场景,建表的时候选择行存储还是列存储表。一般情况下,如果表的字段比较多(大宽表),查询中涉及到的列不多的情况下,适合列存储。如果表的字段个数比较少,查询大部分字段,那么选择行存储比较好。 扩大字符字段长度:当目的端和
-
元数据简介 - 数据治理中心 DataArts Studio
元数据按用途的不同,可以分为两类:技术元数据(Technical Metadata)和业务元数据(Business Metadata)。 技术元数据是存储关于数据仓库系统技术细节的数据,是用于开发和管理数据仓库使用的数据。在DataArts Studio中,技术元数据即为技术资产,显示数据库、数据表、数据量的数量及其详情。
-
修改或删除主题层级 - 数据治理中心 DataArts Studio
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
-
如何查看审计日志 - 数据治理中心 DataArts Studio
台保存最近7天的操作记录。 前提条件 已开通云审计服务。开通方式请参见开通云审计服务。 操作步骤 登录管理控制台,在服务列表中选择“云审计服务 CTS”,进入云审计服务控制台。 在云审计服务控制台,默认展示事件列表,您可以通过筛选来查询对应的操作事件。 其中,DataArts S
-
数据架构支持逆向数据库吗? - 数据治理中心 DataArts Studio
数据架构支持逆向数据库吗? 数据架构支持逆向数据库,目前支持基于数据仓库服务(DWS)、数据湖探索(DLI)、MapReduce服务(MRS Hive)的数据库逆向。 父主题: 数据架构
-
REST API SDK参考 - 数据治理中心 DataArts Studio
Studio服务的REST API SDK包和参考文档。 当前DataArts Studio服务的API Explorer接口和REST API SDK包支持如下组件: 数据集成(注册在云数据迁移CDM服务) 数据开发 管理中心 数据架构 数据质量 数据目录 数据服务 数据集成组件的API
-
新建码表 - 数据治理中心 DataArts Studio
新建码表 码表,也称lookup表、数据字典表,一般由中英文名称编码组成,由可枚举数据构成,存储枚举数据名称与编码的映射关系。码表的作用主要有: 在数据清洗中用于标准化业务数据以及补充映射字段。 在质量监控中用于监控业务数据的值域范围。 在维度建模中可以引申为枚举维度。 新建码表并发布
-
删除目录 - 数据治理中心 DataArts Studio
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
-
配置FTP/SFTP连接 - 数据治理中心 DataArts Studio
FTP/SFTP连接适用于从线下文件服务器或ECS服务器上迁移文件到数据库。 当前仅支持Linux操作系统的FTP 服务器。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 连接FTP或SFTP服务器时,连接参数相同,如表1所示。
-
如何创建数据库和数据表,数据库对应的是不是数据连接? - 数据治理中心 DataArts Studio
如何创建数据库和数据表,数据库对应的是不是数据连接? 数据库和数据表可以在DLI服务中创建。 数据库对应的不是数据连接,数据连接是创建DataArts Studio和其他数据服务的连接通道。 父主题: 数据开发
-
配置HBase/CloudTable目的端参数 - 数据治理中心 DataArts Studio
选择是否开启HBase的预写日志机制(WAL,Write Ahead Log)。 是:开启后如果出现HBase服务器宕机,则可以从WAL中回放执行之前没有完成的操作。 否:关闭时能提升写入性能,但如果HBase服务器宕机可能会造成数据丢失。 否 匹配数据类型 是:源端数据库中的Short、Int、Lo
-
重启集群 - 数据治理中心 DataArts Studio
“创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 选择集群操作列中的“更多 > 重启”,进入重启集群确认界面。 图2 重启集群 您可以选择重启CDM服务进程或重启集群VM,选择完成并单击确认后即可完成集群重启操作。 重启CDM服务进程:只重启CDM服务的进程,不会重启集群虚拟机。
-
删除业务指标 - 数据治理中心 DataArts Studio
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
-
删除审批人 - 数据治理中心 DataArts Studio
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
-
套餐包到期未续订或按需资源欠费时,我的数据会保留吗? - 数据治理中心 DataArts Studio
套餐包到期未续订或按需资源欠费时,我的数据会保留吗? 云服务进入宽限期/保留期后,华为云将会通过邮件、短信等方式向您发送提醒,提醒您续订或充值。保留期到期仍未续订或充值,存储在云服务中的数据将被删除、云服务资源将被释放。 宽限期:指客户的包周期资源到期未续订或按需资源欠费时,华为云提供给客户进行续费与充值的时间,宽限期内客户可正常访问及使用云服务。
-
数据安全简介 - 数据治理中心 DataArts Studio
应用背景 数据安全为数据湖提供数据生命周期内统一的数据使用保护能力。通过敏感数据识别、分级分类、隐私保护、资源权限控制、数据加密传输、加密存储、数据风险识别以及合规审计等措施,帮助用户建立安全预警机制,增强整体安全防护能力,让数据可用不可得和安全合规。 功能模块 数据安全包括: 数据密级
-
文件格式介绍 - 数据治理中心 DataArts Studio
CDM支持解析的JSON类型 记录节点 从JSON文件复制数据 CDM支持解析的JSON类型:JSON对象、JSON数组。 JSON对象:JSON文件包含单个对象,或者以行分隔/串连的多个对象。 单一对象JSON { "took" : 190, "timed_out" : false