检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
元数据简介 按照传统的定义,元数据(Metadata)是关于数据的数据。元数据打通了源数据、数据仓库、数据应用,记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中,元数据可以帮助数
已提交版本。 前提条件 已完成作业开发任务。 提交作业版本 “提交”会将当前开发态的最新作业保存并提交为版本,并覆盖之前的作业版本。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择
事实表度量 FUNCTION: 函数 INFO_ARCH: 信息架构(批量修改主题使用) MODEL: 模型 QUALITY_RULE: 质量规则 SECRECY_LEVEL: 密级 STANDARD_ELEMENT: 数据标准 STANDARD_ELEMENT_TEMPLATE: 数据标准模板
配置Elasticsearch/云搜索服务(CSS)目的端参数 作业中目的连接为Elasticsearch连接参数说明或云搜索服务(CSS)连接参数说明时,即将数据导入到Elasticsearch/云搜索服务(CSS)时,目的端作业参数如表1所示。 表/文件迁移和整库迁移时需配置
审计与日志 云审计服务(Cloud Trace Service,以下简称CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可记录的DataArts Studi
更新漏洞 DataArts Studio云服务通过华为云安全公告密切跟踪漏洞,如Apache Log4j2 远程代码执行漏洞(CVE-2021-44228)、Fastjson存在反序列化漏洞(CNVD-2022-40233)等,如发现服务模块涉及漏洞影响,会迅速通过官方解决方案升级现网更新漏洞。
数据源为Hive时支持哪些数据格式? 问题描述 云数据迁移服务,数据源为Hive时支持的数据格式有哪些? 解决方案 云数据迁移服务支持从Hive数据源读写的数据格式包括SequenceFile、TextFile、ORC、Parquet。 父主题: 数据集成(CDM作业)
故障恢复 DataArts Studio云服务每天会定时全量备份数据库数据,当服务故障后,通过备份恢复等技术方案支持数据恢复。 关于DataArts Studio支持的备份信息,请参见备份管理。 父主题: 安全
功能 Dummy节点是一个空的节点,不执行任何操作。用于简化节点的连接视图,便于用户理解复杂节点流的连接关系,示例如图1所示。 图1 连接方式对比 参数 用户可参考表1配置Dummy节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母
业配置中使用SQL语句对字段类型进行转换,转换成CDM支持的类型,达到迁移数据的目的。 操作步骤 修改CDM迁移作业,通过使用SQL语句的方式迁移。 SQL语句格式为:“select id,cast(原字段名 as INT) as 新字段名可以和原字段名一样 from schemaName
业配置中使用SQL语句对字段类型进行转换,转换成CDM支持的类型,达到迁移数据的目的。 操作步骤 修改CDM迁移作业,通过使用SQL语句的方式迁移。 SQL语句格式为:“select id,cast(原字段名 as INT) as 新字段名可以和原字段名一样 from schemaName
Studio数据血缘实现方案 数据血缘的产生: DataArts Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方式,无需手动配置即可生成血缘关系,在不支持自动血缘解析的场景下,再手动配置血缘关系。 自动血缘解析,是由系统解析数据开发作业
创建连接。 仅具备Manager_tenant或Manager_auditor权限,无法创建连接。 - 密码 访问MRS Manager的用户密码。 - 认证类型 访问MRS的认证类型: SIMPLE:非安全模式选择Simple鉴权。 KERBEROS:安全模式选择Kerberos鉴权。
获取的权限。 约束与限制 查看用户权限时,不展示其继承自用户组的权限。 当前暂不支持在成员权限视图页面直接对权限进行配置、回收。 查看数据访问日志 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击左侧导航树中的“成员权限视图”,进入成员权限视图页面。
示例场景说明 本实践通过DataArts Studio服务的数据开发DLF组件和数据湖探索服务(DLI)对某电商商城的用户、商品、评论数据(脱敏后)进行分析,输出用户和商品的各种数据特征,可为营销决策、广告推荐、信用评级、品牌监控、用户行为预测提供高质量的信息。在此期间,您可以学
使用前自检概览 当您在使用Migration服务创建实时同步任务前,需要预先检查是否做好了准备工作,以满足实时同步任务的环境要求。 表1 自检项 自检项 说明 需要执行的准备工作 华为云账号及权限准备 准备华为账号,创建用户并授权使用Migration。 参考注册华为账号并开通华为云。
实例状态 实例(即采集任务)的状态。 成功 部分成功 执行中 失败 运行异常 暂停:因管理面升级,监控任务暂停,升级完成后监控继续执行。 调度方式 展示采集任务的调度状态,分为单次调度和周期调度。 调度周期 展示采集任务的调度周期。 开始时间 重跑采集任务的启动时间。 结束时间 重跑采集任务的结束时间。
数据集成操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster
数据架构操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 资源名称 事件名称 查看主题设计 DAYU_DS dsSubject
100 <=40000 200 <=80000 300 > 80000 400 当前工作空间级别的节点并发数支持配置,方法如下: 配置方法 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择