检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建CDM集群并绑定EIP 如果是独立CDM服务,参考创建集群创建CDM集群;如果是作为DataArts Studio服务CDM组件使用,参考创建集群创建CDM集群。 关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。
案例:搭建实时报警平台 在本实践用户可以了解到如何搭建一个简单的实时报警平台,该平台将应用多个云服务,结合数据开发模块的作业编辑和作业调度功能来实现。
对于Serverless服务(例如DLI),DataArts Studio通过管理中心的环境隔离来配置生产环境和开发环境数据湖服务的对应关系,在开发和生产流程中自动切换对应的数据湖。
如果DataArts Studio实例或CDM集群需连接云上服务(如DWS、MRS、RDS等),则您需要确保CDM集群与该云服务网络互通。同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通,如果同虚拟私有云而子网或安全组不同,还需配置路由规则及安全组规则。
KMS密钥需要先在数据加密服务创建,具体操作请参见《数据加密服务 用户指南》。 当启用KMS加密功能后,用户上传对象时,数据会加密成密文存储在OBS。用户从OBS下载加密对象时,存储的密文会先在OBS服务端解密为明文,再提供给用户。
DataArts Studio部署时通过物理区域划分,为项目级服务。授权时,“授权范围方案”如果选择“所有资源”,则该权限在所有区域项目中都生效;如果选择“指定区域项目资源”,则该权限仅对此项目生效。
示例一 某数据运营工程师通过DataArts Studio进行数据服务工作,仅需要数据服务组件的权限。管理员如果直接赋予该数据运营工程师“开发者”的预置角色,则会出现其他组件权限过大的风险。
500 服务内部错误,具体返回错误码请参考错误码。 503 服务不可用。 错误码 请参见错误码。 父主题: 集群管理
表2 源、目标端参数配置 参数名 参数描述 源端配置 *数据源类型 目前只支持MapReduce服务(MRS Hive)。 *数据连接 选择已创建的数据连接。若未创建请参考创建DataArts Studio数据连接新建连接。
前提条件 新建用户同步任务前,已在管理中心创建数据仓库服务(DWS)或MapReduce服务(MRS Ranger)类型的数据连接,请参考创建DataArts Studio数据连接。 新建用户同步任务前,已参考授权dlg_agency委托为dlg_agency委托配置权限。
全链路数据安全:DataArts Studio数据治理全链路包含数据集成、数据管理(架构设计、指标设计、数据质量管理)、数据开发、数据资产管理和数据服务等不同阶段。在数据动态流动场景下,可通过数据访问控制、数据脱敏等安全防护措施保障数据全链路、全生命周期安全能力。
图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 选择集群操作列中的“更多 > 下载日志”,选择下载日志类型。 图2 下载日志类型 确认后,即可下载日志到本地。 父主题: 创建并管理CDM集群
1 数据源使用端口概览 数据源 涉及端口 MySQL 3306 DWS 8000 PostgreSQL 5432 Oracle 1521 Kafka 非安全:9092/9094 安全:9093/9095 MRS Hudi MRS Hudi所使用端口较为复杂,具体请参考《MRS集群服务常用端口列表
通知管理功能是通过消息通知服务SMN来发送消息,消息通知服务的使用可能会产生费用,具体请咨询消息通知服务。 一个作业支持配置多个消息主题,当作业运行成功或失败,可同时向多个订阅了消息主题的终端发送通知。 选择主题:选择通知的SMN消息主题。
OBSManager: OBS路径管理,包括创建和删除路径 RESTAPI: REST API请求 SMN: 发送短信或邮件 MRS Spark:执行MRS服务的Spark作业 MapReduce:执行MRS服务的MapReduce作业 请求示例 查询实时作业job_sms作业运行状态以及各个节点运行状态
使用折扣套餐包时,您需要在“云数据迁移 CDM”服务创建一个与DataArts Studio实例区域一致的cdm.large规格集群,集群运行时会自动扣除折扣套餐包时长,折扣套餐包时长到期后需要删除此集群,否则会产生相关费用。关于CDM服务的计费详情可参见CDM用户指南。
创建CDM集群并绑定EIP 如果是独立CDM服务,参考创建集群创建CDM集群;如果是作为DataArts Studio服务CDM组件使用,参考创建集群创建CDM集群。 关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。
非关系型数据库包括:文档数据库服务DDS、云数据库 GeminiDB(兼容Influx、Redis、Mongo以及Cassandra多种协议)等。 数据仓库:数据仓库服务DWS。 数据湖:云原生大数据MRS、数据湖探索DLI等。
约束限制 该功能依赖于OBS服务或MRS HDFS服务。 新建目录(可选) 如果已存在可用的目录,可以不用新建目录。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
前提条件 已开通相应的云服务。比如,MRS服务。 已新建数据连接,请参见新建数据连接。 MRS API方式连接不支持通过可视化模式管理数据库,建议通过SQL脚本方式进行创建。 删除数据库时,请确保该数据库未被使用,且没有关联数据表。