检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
建议名称中包含含义,避免无意义的描述,以便于快速识别所需权限集。 *管理员 选择管理员。当前权限集管理员支持最多选2个,且管理员类型必须同为用户或者用户组。 管理员为当前权限集的负责人,具有配置当前权限集内权限的能力。管理员职能范围: 权限配置:为权限集分配数据源权限。 用户配置:将当
目的 数据是企业核心资产,企业需要建立起数据字典,有效管理其日益重要的数据和信息资源;同时建立数据持续改进机制,来不断提升数据质量。数据的价值和风险应被有效管理,以支撑企业管理简化、业务流集成、运营效率提升和经营结果的真实呈现。数据准确是科学决策的基础,数据架构和标准的统一是全流程高效运作、语言一致的前提。
据应用提供“一致的语言”;数据标准为主数据管理提供主数据定义的基准,数据标准也是数据质量管理策略设计、数据质量规则制定的核心依据;数据标准所定义的密级分类和责任主体,为数据安全管理提供依据;数据标准也是数据资产管理重要输入。 主数据管理通过数据开发实现核心数据的一致性地记录、更新
提交版本 提交版本涉及到数据开发的版本管理功能。 版本管理:用于追踪脚本/作业的变更情况,支持版本对比和回滚。系统最多保留最近100条的版本记录,更早的版本记录会被删除。另外,版本管理还可用于区分开发态和生产态,这两种状态隔离,互不影响。 开发态:未提交版本的脚本/作业为开发态,
快速入门指引 数据治理中心DataArts Studio是具备数据全生命周期管理和智能数据管理能力的一站式数据治理平台,基于数据湖底座,提供数据集成、开发、治理等能力。针对不同的使用场景,我们提供了不同的使用方案示例: 表1 快速入门案例定位 使用案例示例 所选数据湖底座 所需最低版本
参数说明 参数名 是否必选 参数类型 说明 path 是 String 有OBS场景:作业定义文件在OBS上的路径,作业定义文件的格式参考导出作业的响应消息。例如obs://myBucket/jobs.zip。 params 否 Map<String,String> 公共作业参数。
找到所需要的工作空间,单击工作空间的“数据集成”,系统跳转至数据集成页面。 单击CDM集群“操作”列的“作业管理”,进入作业管理界面。 单击“连接管理->驱动管理”,参考管理驱动,上传MySQL数据库驱动。 选择“连接管理 > 新建连接”,新建MySQL连接。连接器类型选择“MySQL”,然后单击“下一步
ts Studio控制台的URI链接中获取。 在DataArts Studio控制台首页,选择对应工作空间,并单击任一模块,如“管理中心”。 进入管理中心页面后,从浏览器地址栏中获取“instanceId”和“workspace”对应的值,即为DataArts Studio的实例ID和工作空间ID。
配置权限集 在数据访问权限管理的实际场景下,通常会有一级部门、二级部门、三级部门等多级权限的划分。为此,数据安全组件提供了自上而下分层式的数据权限管理方式。您可以通过空间权限集配置工作空间内的最大权限,在此基础上,将其向下拆分出新的子权限集,提供进一步的细分权限管理。 权限集本质上是将
选择KERBEROS鉴权时,需要配置MRS Manager的用户名和密码。从HDFS导出目录时,如果需要创建快照,这里配置的用户需要HDFS系统的管理员权限。 如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以
Studio服务进入数据集成界面可以看到。 在左侧导航栏中单击“集群管理”进入“集群管理”页面。然后,在集群列表中找到所需要的集群,单击“作业管理”。 图2 集群管理 进入作业管理后,选择“连接管理”。 图3 连接管理 创建两个连接,一个源连接OBS连接,用于读取存储在OBS上的原始数据,一个目的连接MRS
Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“运维调度 > 通知管理”。 选择“通知管理”页签进入查看基线运行的所有消息通知信息,包含基线名称、通知类型和消息通知主题等。
构造请求 本节介绍REST API请求的组成,并以调用IAM服务的管理员创建IAM用户接口为例说明如何调用API。该API用于管理员创建IAM用户。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987
/**此处JSON信息比较复杂,可以先在作业管理界面上创建一个作业,然后单击作业后的“作业JSON定义”,复制其中的JSON内容,格式化为Java字符串语法,然后粘贴到此处。 *JSON消息体中一般只需要替换连接名、导入和导出的表名、导入导出表的字段列表、源表中用于分区的字段。**/
存”。 模型创建好之后,勾选已创建的模型,选择“更多 > 导出”,然后在弹出框中选中“表”并单击“确定”,可以将整个模型导出。参考同样的方法导出模型“sdi”。导出后的模型,可以作为备份,今后可用于模型导入。 图32 导出模型 发布表模型。 发布2中通过逆向数据库导入SDI模型的
车联网大数搬迁入湖简介场景介绍 场景描述 为搭建H公司车联网业务集团级的云管理平台,统一管理、部署硬件资源和通用类软件资源,实现IT应用全面服务化、云化,CDM(Cloud Data Migration,简称CDM)助力H公司做到代码“0”改动、数据“0”丢失迁移上云。 约束限制
存”。 模型创建好之后,勾选已创建的模型,选择“更多 > 导出”,然后在弹出框中选中“表”并单击“确定”,可以将整个模型导出。参考同样的方法导出模型“sdi”。导出后的模型,可以作为备份,今后可用于模型导入。 图32 导出模型 发布表模型。 发布2中通过逆向数据库导入SDI模型的
工作空间从系统层面为管理者提供对使用DataArts Studio的用户(成员)权限、资源、DataArts Studio底层计算引擎配置的管理能力。为实现多角色协同开发,管理员可将相关用户加入到工作空间,并赋予DataArts Studio预设的项目管理员、开发者、运维者、访
面向的读者 本文面向的读者包括:企事业各级管理人员、参与数据工作的相关人员、工具平台开发维护的相关人员等。
字段映射:附加字段、字段赋值(常量、变量、UDF)。 自动建表. 定义DDL消息处理策略。 实时同步任务运维 支持异常恢复、暂停恢复、动态增减表、任务监控、配置告警、查看及导出任务日志等运维功能。 同步场景 Migration实时同步功能支持多种拓扑类型的同步场景,用户可根据自身需求进行规划,详细说明可参考以下内容。