检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
免费试用即将到期,如何续费? 当免费试用的DataArts Studio实例即将到期时,您可以购买DataArts Studio实例以继续使用。您可以登录DataArts Studio控制台,找到即将到期的免费试用的DataArts Studio实例,在试用的DataArts S
问题案例总览 表1 问题案例总览 类型 相关文档 网络打通 数据源和资源组网络不通如何排查? 网络打通 数据源安全组放通哪些端口可满足Migration访问? Hudi 如何配置Hudi Compaction的Spark周期任务? DWS MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办?
运维者操作 运维者作为运维管理的负责人,需要对生产环境的作业、实例、通知、备份等进行统一管控,相关操作如下表所示。 表1 运维者操作 操作 说明 作业监控 包含对批作业、实时作业的监控。 具体请参见作业监控。 实例监控 对作业实例进行监控,作业每次运行,都会对应产生一次作业实例记录。
数据集成操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster
示例场景说明 本实践通过DataArts Studio服务的数据集成CDM组件、数据开发DLF组件和数据仓库服务(DWS)对电影评分原始数据进行分析,输出评分最高和最活跃Top10电影。您可以学习到数据集成模块的数据迁移和数据开发模块的脚本开发、作业开发、作业调度等功能,以及DWS
CDM是否支持集群关机功能? 问题描述 CDM是否支持集群关机功能? 解决方案 不支持。 从2022年4月开始,CDM已不再支持集群关机功能。当集群关机时,其底层资源可能会被占用,导致集群可能无法正常开机使用。 父主题: 数据集成(CDM作业)
MRS Spark Python 功能 通过MRS Spark Python节点实现在MRS中执行预先定义的Spark Python作业。 MRS Spark Python算子的具体使用教程,请参见开发一个MRS Spark Python作业。 参数 用户可参考表1,表2和表3配置MRS
可以免费试用DataArts Studio吗? 目前DataArts Studio提供两种免费试用途径。 试用初级版:您可以通过参加相关活动,限时免费试用初级版DataArts Studio。初级版实例默认赠送一个CDM集群。 使用免费版:免费版定位于试用场景,相比初级版不自带C
创建补数据实例 功能介绍 创建一个补数据实例。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v2/{project_id}/factory/supplement-data 参数说明 参数名 是否必选 参数类型 说明 project_id
批量导出作业 功能介绍 此接口可以批量导出DLF作业定义,包括作业依赖的脚本和CDM作业定义。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/jobs/batch-export 参数说明 表1
如何查看审计日志 概述 云审计服务(Cloud Trace Service,CTS)可以记录DataArts Studio相关的操作事件,用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 在您开启了云审计服务后,系统开始记录DataArts Studio的相关操作,
ROMA FDI Job 功能 通过ROMA FDI Job节点执行一个预先定义的ROMA Connect数据集成任务,实现源端到目标端的数据集成转换。 原理 该节点方便用户启动或者查询FDI任务是否正在运行。 参数 ROMA FDI Job的参数配置,请参考以下内容: 表1 属性参数
访问DataArts Studio实例控制台 前提条件 请参见购买DataArts Studio实例,确认已购买DataArts Studio实例。 操作步骤 登录华为云控制台,在左上角的服务列表中选择“数据治理中心DataArts Studio”,进入DataArts Studio实例控制台。
访问DataArts Studio实例控制台 前提条件 请参见购买DataArts Studio基础包,确认已购买DataArts Studio实例。 操作步骤 登录华为云控制台,在左上角的服务列表中选择“数据治理中心DataArts Studio”,进入DataArts Studio实例控制台。
导出作业 功能介绍 导出zip压缩包格式的作业文件,包括作业定义、作业依赖的脚本、CDM作业定义。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/jobs/{job_name}/export
组合识别规则测试 功能介绍 组合识别规则测试 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/data-classification/rule/check 表1 路径参数 参数 是否必选 参数类型 描述 project_id
导出导入作业 导出作业,均是导出开发态的最新的已保存内容。 导入作业,会覆盖开发态的内容并自动提交一个新版本。 数据开发在跨时区导出导入作业时,需要手动修改expressionTimeZone字段为目标时区。 导出作业 参考访问DataArts Studio实例控制台,登录DataArts
步骤3:服务退订 本开发场景中,DataArts Studio、OBS和DLI服务均会产生相关费用。在使用过程中,如果您额外进行了通知配置,可能还会产生以下相关服务的费用: SMN服务:如果您在使用DataArts Studio各组件过程中开启了消息通知功能,则会产生消息通知服务费用,收费标准请参见SMN价格详情。
企业模式业务流程 当前DataArts Studio企业模式,主要涉及管理中心和数据开发组件,业务流程由管理员、开发者、部署者、运维者等角色共同完成。 图1 企业模式架构 管理员:管理员需要进行准备数据湖、配置数据连接和环境隔离、数据的导入导出、配置项目用户权限等操作。 开发者:
展示层脱敏(高级特性) 通过配置展示层脱敏策略,可以实现在数据开发进行脚本、作业开发查询时,表数据预览会按照展示层脱敏策略对数据展示进行敏感信息脱敏。 在新版本模式下仅当使用企业版时,才支持展示层脱敏功能,旧版本模式使用基础版及更高版本时即可支持。展示层脱敏功能当前在北京四、上海