正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以下数据源的元数据: 关系型数据库,如MySQL/PostgreSQL等(可使用RDS类型连接,采集其元数据) 云搜索服务CSS 图引擎服务GES 对象存储服务OBS MRS Hudi组件(MRS Hudi作为一种数据格式,元数据存放在Hive中,操作通过Spark进行。在Hud
linkConfig.serverlist 是 String 服务器地址列表,格式如:“host1:port1;host2:port2”。 linkConfig.password 是 String 连接Redis服务器的密码。 linkConfig.dbIndex 是 String
选择OBS连接器信息。 obs_link OBS桶 选择OBS桶。 obs_test 配置文件 选择OBS的配置文件。 /obs/config.csv 最大消息数/poll 可选参数,每次向Kafka请求数据限制最大请求记录数。 100 最大时间间隔/poll 可选参数,向Kafka请求数据的最大时间间隔。
如何降低CDM使用成本? 如果是迁移公网的数据上云,可以使用NAT网关服务,实现CDM服务与子网中的其他弹性云服务器共享弹性IP,可以更经济、更方便的通过Internet迁移本地数据中心或第三方云上的数据。 具体操作如下: 假设已经创建好了CDM集群(无需为CDM集群绑定专用弹性
云资源的标识与管理可通过标签实现。 使用场景 通常您的业务系统可能使用了华为云的多种云服务,您可以为这些云服务下不同的资源实例分别设置标签(对于DataArts Studio而言,标签作用于其实例上),各服务产生的计费详单中都会体现这些资源实例和实例上设置的标签。如果您的业务系统是由多个
CDM支持的监控指标 功能说明 云监控服务(Cloud Eye)可以监控和查看云服务的运行状态、各个指标的使用情况,并对监控项创建告警规则。 当您创建了CDM集群后,云监控服务会自动关联CDM的监控指标,帮助您实时掌握CDM集群的各项性能指标,精确掌握CDM集群的运行情况。 本章
较低,可能会出现无法支持建表语句执行的报错,这种情况下建议您选择自建队列运行业务。如需“default”队列支持建表语句执行,可联系DLI服务客服或技术支持人员协助解决。 DLI的“default”队列为共享队列,仅用于用户体验,用户间可能会出现抢占资源的情况,不能保证每次都可以
支持的监控指标 功能说明 云监控服务(Cloud Eye)可以监控和查看云服务的运行状态、各个指标的使用情况,并对监控项创建告警规则。 当您创建了实时处理集成作业后,云监控服务会自动关联实时处理集成作业的监控指标,帮助您实时掌握作业的各项性能指标,精确掌握作业的运行情况。 本章节
会有很多HDFS子目录,如果不依赖工具,将外部数据加载到Hive表各分区不是一件容易的事情。云数据迁移服务(CDM)可以轻松将外部数据源(关系数据库、对象存储服务、文件系统服务等)加载到Hive分区表。 下面使用CDM将MySQL数据导入到MRS Hive分区表为例进行介绍。 操作场景
数据集成(注册在云数据迁移CDM服务) 数据开发 管理中心 数据架构 数据质量 数据目录 数据服务 数据安全 Java Python Go Github代码仓,详见SDK列表。 数据服务SDK包 数据服务SDK是基于DataArts Studio数据服务创建的数据API封装的SDK包。
Exception? 问题描述 调用数据开发API报错Unknown Exception。 解决方案 DataArts Studio是项目级服务,获取Token的scope要选择project级别。 父主题: 数据开发
要具体解释下,便于用户理解。 解决方案 数据库和数据表可以在DataArts Studio服务中创建。 数据库对应的不是数据连接,数据连接是创建DataArts Studio和其他数据服务的连接通道。 父主题: 数据开发
Kafka连接 介绍 通过DMS Kafka连接,可以连接DMS Kafka普通队列或者专享版Kafka。目前仅支持从DMS Kafka导出数据到云搜索服务。 连接样例 { "links": [ { "link-config-values": { "configs":
配置委托后,作业执行过程中,以委托的身份与其他服务交互。 作业优先级 自动匹配创建作业时配置的作业优先级,此处支持修改。 实例超时时间 配置作业实例的超时时间,设置为0或不配置时,该配置项不生效。如果您为作业设置了异常通知,当作业实例执行时间超过超时时间,将触发异常通知,发送消息给用户,作业不会中断,继续运行。
通过还原功能,您可还原已备份的资产,包含作业、脚本、资源和环境变量。 约束限制 该功能依赖于OBS服务。 当前备份内容不会自动老化删除,您需要定期手动清理备份文件。 前提条件 已开通对象存储服务,并在OBS中创建文件夹。 备份资产 参考访问DataArts Studio实例控制台,登录DataArts
环境准备 已开通弹性云服务器,并创建ECS,ECS主机名为“ecs-dgc”。 本示例主机选择“CentOS 8.0 64bit with ARM(40GB)”的公共镜像,并且使用ECS自带的Python环境,您可登录主机后使用python命令确认服务器的Python环境。 已
置多条。 允许访问 定义允许访问的用户和用户组。 用户:MRS服务的用户。 角色:MRS服务的角色。 用户组:MRS服务的用户组。 权限:定义允许访问的用户拥有的权限。权限和用户允许同时为空值,或者同时不为空值。服务相关权限详情请参考表1。 委托用户:当勾选此项时,管理权限将分配
示例场景说明 本实践通过DataArts Studio服务的数据集成CDM组件、数据开发DLF组件和数据仓库服务(DWS)对电影评分原始数据进行分析,输出评分最高和最活跃Top10电影。您可以学习到数据集成模块的数据迁移和数据开发模块的脚本开发、作业开发、作业调度等功能,以及DWS
DataArts Studio服务各组件功能所需依赖服务的权限如表2所示。在实际授权场景中,推荐为开发者用户配置DataArts Studio服务级别的依赖服务最小权限(可参考如何最小化授权IAM用户使用DataArts Studio,为用户配置最小权限),开发者用户的最小依赖服务权限如表3所示。
切换对应的数据湖。因此您需要准备两套数据湖服务,且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息,均应保持一致。创建数据连接的详细操作请参见创建DataArts Studio数据连接。 对于Serverless服务(例如DLI),DataArts Stud