检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
} ] } 连接参数 参数 是否必选 类型 说明 linkConfig.storageType 是 String 对象存储的类型。 linkConfig.obsBucketType 否 String OBS桶类型。 对象桶:OB。 并行文件系统:PFS。 说明:
CTS保存最近7天的审计日志。 CTS支持配置关键操作通知。例如用户可将与IAM相关的高危敏感操作,作为关键操作加入到CTS的实时监控列表中进行监控跟踪。当用户使用DataArts Studio服务时,如果触发了监控列表中的关键操作,那么CTS会在记录操作日志的同时,向相关订阅者实时发送通知。
示例场景说明 本实践通过DataArts Studio服务的数据集成CDM组件、数据开发DLF组件和数据仓库服务(DWS)对电影评分原始数据进行分析,输出评分最高和最活跃Top10电影。您可以学习到数据集成模块的数据迁移和数据开发模块的脚本开发、作业开发、作业调度等功能,以及DWS SQL基本语法。
在“空间信息”中,单击“作业日志OBS路径”后的“请选择”按钮,选择日志存储路径,可选择某个具体的目录。 图1 修改日志存储路径 修改完成后,单击“确定”,即完成作业日志存储路径的修改。 用户在创建作业时,会默认创建dlf-log-{projectID}命名的桶,此桶若存在,会跳过创建。 父主题:
一种变长二进制数据类型,采用这种数据类型存储的数据不会发生字符集转换。 不支持 不支持 long raw 能存储多达2GB的二进制信息。 不支持 不支持 blob 能够存储最多4GB的数据。 不支持 不支持 clob 在Oracle 10g及以后的版本中允许存储最多(4GB)×(数据库块大小)字节的数据。CL
此处不再展开描述。 至此,基于电影评分的数据集成与开发流程示例完成。此外,您还可以根据原始数据,分析不同类型电影的评分、浏览情况等,为营销决策、广告推荐、用户行为预测等提供高质量的信息。 父主题: 初级版:基于DWS的电影评分数据集成与开发流程
生成异常数据:开启此项,表示异常数据将按照配置的参数存储到规定的库中。 数据库或Schema:开启“生成异常数据”时显示此项,表示存储异常数据的数据库或Schema 表前缀:开启“生成异常数据”时显示此项,表示存储异常数据的表的前缀。 表后缀:开启“生成异常数据”时显示此项,表示存储异常数据的表的后缀。 添加规
通过该按钮过滤出修改时间段内的待审核信息。 :通过该按钮查询对象和创建人的待审核信息。 :通过该按钮设置待审核表的表列项。 :刷新按钮。 我的申请 在数据架构控制台,单击“审核中心”,进入审核中心页面。 单击“我的申请”,进入我的申请页面,如下图所示。 图4 我的申请页面 您可以进行如下操作:
hema。 表前缀:表示存储异常数据的表的前缀。 表后缀:表示存储异常数据的表的后缀。 配置完成后单击保存配置。 (可选)质量规则的检查范围默认是全表,如需要精确定位分区查询数据,请填写where条件。 图8 where条件开关 查看关联质量规则的结果,如果显示成功,单击“确定”
数据目录支持采集哪些对象的资产? 数据目录目前支持采集数据湖的资产,例如MRS Hive、DLI、DWS等,除此之外也支持采集以下数据源的元数据: 关系型数据库,如MySQL/PostgreSQL等(可使用RDS类型连接,采集其元数据) 云搜索服务CSS 图引擎服务GES 对象存储服务OBS MRS
Studio是针对企业数字化运营诉求提供的数据全生命周期管理、具有智能数据管理能力的一站式治理运营平台,包含数据集成、数据架构、数据开发、数据质量、数据目录、数据服务等功能,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统
成后删除新建的存储桶即可;另外,DataArts Studio作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中,在退订DataArts Studio后可以一并删除。 DLI DLI计费说明 DLI服务未购买专属队列时,涉及存储收费和扫描量
如何实现用户的工作空间隔离,使其无法查看其他未授权工作空间? DataArts Studio基于系统角色+工作空间角色实现授权的能力。默认情况下,当为普通用户配置了DAYU User系统角色,未添加为某个工作空间角色时,则该用户无法查看此工作空间。 注意,如果该普通用户同时被配置了DAYU
通知名称 是 设置发送的通知名称。 调度周期 是 选择通知发送的调度周期,可以设置为按“天”、“周”或“月”发送。 说明: 按天发送,通知记录为以发送时间往前推24小时时间段的数据;按周发送,通知记录为往前推七天时间段的数据;按月发送,通知记录为往前推30天时间段的数据 选择时间 是
在统一身份认证服务的左侧导航窗格中,选择“用户”,单击用户名进入用户信息界面。 查看用户所属的用户组。 图2 用户所属的用户组 在左侧导航窗格中,选择“用户组”,单击用户所属的用户组后面“操作”列的“授权”。 在授权界面,选择需要给用户组添加的权限,搜索需要的权限名称,请配置为OBS
创建工作空间模式前,您需要先了解以下内容: 已了解简单模式与企业模式工作空间的区别,包括不同工作空间的开发流程等差异,详情请参见简单模式与企业模式介绍。 已配置空间级的身份调度,包含公共委托和公共IAM账号,详情请参见配置公共委托和配置公共IAM账号。 已准备好两套相互隔离的数据湖引擎,用于隔离开发和生产环境。
的数据源类型。 本文介绍2.9.2.200版本CDM集群所支持的数据源。因各版本集群支持的数据源有所差异,其他版本支持的数据源仅做参考。 表/文件迁移支持的数据源类型 表/文件迁移可以实现表或文件级别的数据迁移。 表/文件迁移时支持的数据源如表1所示。 表1 表/文件迁移支持的数据源
的数据源类型。 本文介绍2.9.3.300版本CDM集群所支持的数据源。因各版本集群支持的数据源有所差异,其他版本支持的数据源仅做参考。 表/文件迁移支持的数据源类型 表/文件迁移可以实现表或文件级别的数据迁移。 表/文件迁移时支持的数据源如表1所示。 表1 表/文件迁移支持的数据源
必须将CDM的VPC与DWS配置一致,且推荐在同一个内网和安全组,如果不同,还需要配置允许两个安全组之间的数据访问。 端口映射不仅可以用于迁移内网数据库的数据,还可以迁移例如SFTP服务器上的数据。 Linux机器也可以通过IPTABLE实现端口映射。 内网中的FTP通过端口映
据安全能力建设实施指南V1.0》,对组织的数据安全开展能力评估。DSMM旨在标准先行,推动数据安全,进一步提升企业数据安全能力,增强数据安全意识,挖掘数据价值,培育数据要素市场。 DSMM标准以组织的数据为中心,围绕数据的采集、传输、存储、处理、交换、销毁全生命周期,从组织建设、