检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的“高级属性”中配置。 KMS密钥需要先在数据加密服务创建,具体操作请参见《数据加密服务 用户指南》。 当启用KMS加密功能后,用户上传对象时,数据会加密成密文存储在OBS。用户从OBS下载加密对象时,存储的密文会先在OBS服务端解密为明文,再提供给用户。 如果选择使用KMS加密,则无法使用MD5校验一致性。
Studio控制台首页,选择对应工作空间的“数据集成”模块,进入CDM首页。 图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 选择集群操作列中的“更多 > 下载日志”,选择下载日志类型。 图2 下载日志类型 确认后,即可下载日志到本地。
配置企业模式环境隔离,包含DLI队列配置和DB配置。 对于Serverless服务(例如DLI),DataArts Studio通过管理中心的环境隔离来配置生产环境和开发环境数据湖服务的对应关系,在开发和生产流程中自动切换对应的数据湖。因此您需要在Serverless数据湖服务中准备两套队列、两套数据库资源,建议通过
Kafka 非安全:9092/9094 安全:9093/9095 MRS Hudi MRS Hudi所使用端口较为复杂,具体请参考《MRS集群服务常用端口列表》。 图1 MRS Hudi安全组规则示例 父主题: 数据集成(实时作业)
Administrator的系统角色。IAM用户的创建和授权系统角色的具体操作如下: 创建用户组并授权系统角色。 使用华为账号登录统一身份认证服务IAM控制台,创建用户组,并授予DataArts Studio的系统角色,如“DAYU Administrator”或“DAYU User”。
taArts Studio实例级别配置,各工作空间之间数据互通。 前提条件 新建用户同步任务前,已在管理中心创建数据仓库服务(DWS)或MapReduce服务(MRS Ranger)类型的数据连接,请参考创建DataArts Studio数据连接。 新建用户同步任务前,已参考授权
折扣套餐包时,您需要在“云数据迁移 CDM”服务创建一个与DataArts Studio实例区域一致的cdm.large规格集群,集群运行时会自动扣除折扣套餐包时长,折扣套餐包时长到期后需要删除此集群,否则会产生相关费用。关于CDM服务的计费详情可参见CDM用户指南。 免费版不支
前提条件 请参见购买DataArts Studio基础包,确认已购买DataArts Studio实例。 操作步骤 登录华为云控制台,在左上角的服务列表中选择“数据治理中心DataArts Studio”,进入DataArts Studio实例控制台。 如果当前区域下有多个DataArts
在解决方案目录中,右键单击解决方案名称,选择“导出”,导出zip格式的解决方案文件至本地。 导入解决方案 导入解决方案功能依赖于OBS服务,如无OBS服务,可从本地导入。 在解决方案目录中,右键单击根目录“解决方案”,选择“导入解决方案”,导入已上传到OBS或者本地的解决方案文件。
连接管理 > 驱动管理”页面,上传了MySQL数据库驱动。 创建CDM集群并绑定EIP 如果是独立CDM服务,参考创建集群创建CDM集群;如果是作为DataArts Studio服务CDM组件使用,参考创建集群创建CDM集群。 关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择cdm
限定是对业务场景限定抽象,用于度量范围的圈定。 *刷新频率 指标数据的刷新频率。开发者或运维者可以依据指标的刷新频率,合理设置衍生指标的调度频率。 指标应用场景 描述指标的应用场景。 关联技术指标类型 下拉选择与业务指标关联的技术指标类型,包含衍生指标、复合指标和原子指标。 关联技术指标 下拉选择与业务指标关联的技术指标。
全链路数据安全:DataArts Studio数据治理全链路包含数据集成、数据管理(架构设计、指标设计、数据质量管理)、数据开发、数据资产管理和数据服务等不同阶段。在数据动态流动场景下,可通过数据访问控制、数据脱敏等安全防护措施保障数据全链路、全生命周期安全能力。例如:数据入湖阶段,支持对
数据库是“按照数据结构来组织、存储和管理数据的仓库”。 广义上的数据库,在20世纪60年代已经在计算机中应用了。但这个阶段的数据库结构主要是层次或网状的,且数据和程序之间具备非常强的依赖性,应用较为有限。 现在通常所说的数据库指的是关系型数据库。关系数据库是指采用了关系模型来组织数据的数据
资源引用的位置即可,不需要修改作业配置。关于资源的使用样例请参见开发一个DLI Spark作业。 约束限制 该功能依赖于OBS服务或MRS HDFS服务。 新建目录(可选) 如果已存在可用的目录,可以不用新建目录。 参考访问DataArts Studio实例控制台,登录DataArts
、hash等,并将脱敏后的数据写入到目标端数据表。而目标表数据可以用来对外提供数据服务,为数据安全使用提供基础保障。 动态脱敏 在数据安全组件创建动态脱敏策略后,系统会将动态脱敏策略同步到数据源服务,由数据源对数据列按照指定规则进行动态脱敏。当策略中指定的用户和用户组在访问敏感数
折扣套餐包时,您需要在“云数据迁移 CDM”服务创建一个与DataArts Studio实例区域一致的cdm.large规格集群,集群运行时会自动扣除折扣套餐包时长,折扣套餐包时长到期后需要删除此集群,否则会产生相关费用。关于CDM服务的计费详情可参见CDM用户指南。 免费版不支
于创建数据库的SQL脚本,从而创建数据库。 本章节以可视化模式为例,介绍如何在数据开发模块新建数据库。 前提条件 已开通相应的云服务。比如,MRS服务。 已新建数据连接,请参见新建数据连接。 MRS API方式连接不支持通过可视化模式管理数据库,建议通过SQL脚本方式进行创建。
配置委托后,作业执行过程中,以委托的身份与其他服务交互。 作业优先级 自动匹配创建作业时配置的作业优先级,此处支持修改。 实例超时时间 配置作业实例的超时时间,设置为0或不配置时,该配置项不生效。如果您为作业设置了异常通知,当作业实例执行时间超过超时时间,将触发异常通知,发送消息给用户,作业不会中断,继续运行。
增量包的操作。 CDM集群与待同步数据源可以正常通信。 当CDM集群与其他云服务所在的区域、VPC、子网、安全组一致时,可保证CDM集群与其他云服务内网互通,无需专门打通网络。 当CDM集群与其他云服务所在的区域和VPC一致、但子网或安全组不一致时,需配置路由规则及安全组规则以打
信息,请参见什么是默认密钥。 绑定Agent 是 RDS类型数据源为非全托管服务,DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建RDS类型的数据连接时,请选择一个CDM集群。如果没有可