检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
周期和是否发送通知等参数。本节介绍了设置实时集成作业告警规则的具体方法。 配置一键告警 一键告警为您提供针对DataArts Studio服务下所有资源快速开启告警的能力,旨在帮助用户快速建立监控告警体系,在资源异常时可以及时获得通知。请参见一键告警打开“数据治理中心”一键告警开关。
数据开发模块EL表达式使用简单的算术和逻辑计算,引用内嵌对象,包括作业对象和一些工具类对象。 作业对象:提供了获取作业中上一个节点的输出消息、作业调度计划时间、作业执行时间等属性和方法。 工具类对象:提供了一系列字符串、时间、JSON操作方法,例如从一个字符串中截取一个子字符串、时间格式化等。
、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。 - 用户名 访问CloudTable服务的用户名。 admin 访问标识(AK) 访问CloudTable服务的AK和SK。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 登录控制台,在用户名下拉列表中选择“我的凭证”。
Python 使用Python节点前,需确认对应主机连接的主机配有用于执行Python脚本的环境。 功能 通过Python节点执行Python语句。 Python节点的具体使用教程,请参见开发一个Python脚本。 Python节点支持脚本参数和作业参数。 参数 用户可以参考表1和表2配置Python节点的参数。
Studio实例需连接云上服务(如DWS、MRS、RDS等),还必须确保DataArts Studio工作空间的企业项目与该云服务实例的企业项目相同。 一个企业项目下只能购买一个DataArts Studio实例。 需要与其他云服务互通时,需要确保与其他云服务的企业项目一致。 说明:
地管理起来,同时建设企业数据地图及数据血缘关系,为数据调用、数据服务、数据运营及运维提供强有力的信息支撑。 数据服务 数据服务通过在整个企业范围统一数据服务设计和实现的规范并进行数据服务生命周期管理,集约管理数据服务并减少数据调用和集成的开发成本。 数据安全 由于企业使用的数据资
户的开发工作。 API文档 使用前必读 数据集成API 数据目录API 数据开发API 数据架构API 数据质量API 数据服务API SDK文档 数据服务SDK 快速创建一个kubernetes集群 3分钟创建一个游戏类容器应用 3分钟创建一个游戏类容器应用 02 计费 DataArts
Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。 Token可通过调用获取用户Token接口获取,调用本服务API需要project级别的Token,即调用获取用户Token接口时,请求body中auth
限,导致在查看节点日志时系统提示报错,或者OBS日志文件不存在时系统提示报错。 解决方法 使用管理员用户登录IAM控制台。 在统一身份认证服务的左侧导航窗格中,选择“用户”,单击用户名进入用户信息界面。 查看用户所属的用户组。 图2 用户所属的用户组 在左侧导航窗格中,选择“用户
当您需要将一个工作空间中的资源迁移至另一个工作空间,可使用数据治理中心DataArts Studio的资源迁移功能,对资源进行导入导出。 资源导入可以基于OBS服务,也支持从本地导入。支持迁移的资源包含如下业务数据: 管理中心组件中创建的数据连接。 数据集成组件中创建的CDM作业,包含作业中的CDM连接。
作业任务参数说明 在指定集群创建作业或者随机集群创建作业并执行时,由“driver-config-values”参数指定作业任务配置,包含如下功能: 作业失败重试:如果作业执行失败,可选择是否自动重新启动作业。 作业分组:CDM支持对作业进行分组,分组后的作业可以按组显示、按组批
objects 数据库列表。 表4 CdmClusterDatastore 参数 参数类型 描述 id String 服务ID,用于区分不同服务。 name String 服务名称。 bigclusterEnable Boolean 是否支持大规格集群。 defaultVersion String
如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 响应消息的Content-Type是application/octet-stream,需要解析转化为一个文件,可以参考解析响应消息体中的流样例代码。响应是一个压缩文件,文件名称格式是DLF_All_DataConnections
、15天和30天展示。 数据服务 数据服务共享版仅供开发测试使用,专享版性能优于共享版,推荐使用数据服务专享版。 DataArts Studio实例下最多支持创建5个数据服务专享版集群,且集群需要与某个工作空间绑定,不能多空间共用同一集群。 数据服务专享版集群创建后暂不支持修改规格或升级版本。
通过GES直接对图数据进行可视化分析。 前提条件 已完成开发并调度Import GES作业,且作业运行成功。 通过GES分析数据 进入图引擎服务GES控制台,在“图管理”页面中单击对应图后的“访问”按钮。 图1 访问图 参考访问图和分析图,对导入的图数据进行可视化分析。 本例以图探
DLI连接参数说明 连接数据湖探索(DLI)服务时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 迁移数据到DLI时,DLI要在OBS的dli-trans*内部临时桶生成数据文件,因此在需要赋予
在管理中心创建MapReduce服务(MRS Ranger)类型的数据连接,请参考创建DataArts Studio数据连接。 已完成用户同步,将IAM上的用户信息同步到数据源上,详见同步IAM用户到数据源。 新建DWS脱敏策略前,已完成如下操作: 已在管理中心创建数据仓库服务(DWS)类型的数据连接,请参考创建DataArts
实时作业概述 DataArts Studio的Migration服务提供了实时数据同步功能,可将数据通过同步技术从一个数据源复制到其他数据源,并保持一致,实现关键业务数据的实时流动。 常用场景:实时分析,报表系统,数仓环境等。 同步特点:实时同步功能聚焦于表和数据,并满足多种灵活
同步到云上的数据库服务或大数据服务中,适用于多库多表同步场景。 支持分库分表同步的数据源如下所示: 源端为RDS(MySQL)时支持分库分表同步。 整库同步支持的数据源类型 整库同步适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线同步场景,不适用于在线实时同步。
认情况下无需额外操作。如果默认配置被修改,也可以参考本章节切换用户同步策略。 使用admin账户登录MRS服务的Manager页面。 在Manager页面选择“集群 > 服务 > Ranger > 配置 > 基本配置”,在搜索框中搜索“ranger.usersync.config