-
如何将一个空间的数据开发作业和数据连接迁移到另一空间? - 数据治理中心 DataArts Studio
如何将一个空间的数据开发作业和数据连接迁移到另一空间? 您可以在数据开发中将作业导出,随后在新空间数据开发中再导入作业。具体操作请参考导出导入作业。 您可以在管理中心的资源迁移进行数据连接的导入导出。具体操作请参考资源迁移。 父主题: 管理中心
-
如何处理API对应的数据表数据量较大时,获取数据总条数比较耗时的问题? - 数据治理中心 DataArts Studio
l_num=1获取数据总条数,后续再次请求接口时添加入参use_total_num=0不获取数据总条数。 图2 数据总条数 父主题: 数据服务
-
相互依赖的几个作业,调度过程中某个作业执行失败,是否会影响后续作业?这时该如何处理? - 数据治理中心 DataArts Studio
相互依赖的几个作业,调度过程中某个作业执行失败,是否会影响后续作业?这时该如何处理? 这种情况会影响后续作业,后续作业可能会挂起,继续执行或取消执行。 图1 作业依赖关系 这时请勿停止作业,您可以将失败的作业实例进行重跑,或者将异常的实例停止再重跑。失败实例成功后,后续作业会继续
-
数据服务专享版集群正式商用后,如何继续使用公测期间创建的数据服务专享版集群和API? - 数据治理中心 DataArts Studio
数据服务专享版集群正式商用后,如何继续使用公测期间创建的数据服务专享版集群和API? 华为云计划于2021/07/30 00:00:00 GMT+08:00开启数据服务专享版集群商用计费。创建数据服务专享版集群和专享版API都将产生费用,具体价格请参考该服务的计费详情页。商用计费
-
管理资源 - 数据治理中心 DataArts Studio
资源引用的位置即可,不需要修改作业配置。关于资源的使用样例请参见开发一个DLI Spark作业。 约束限制 该功能依赖于OBS服务或MRS HDFS服务。 新建目录(可选) 如果已存在可用的目录,可以不用新建目录。 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
-
创建MySQL连接器 - 数据治理中心 DataArts Studio
方式二:单击对应驱动名称右侧操作列的“从sftp复制”,配置sftp连接器名称和驱动文件路径。 在“集群管理”界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,如图1所示。 图1 选择连接器类型 连接器类型选择“MySQL”后单击“下一步”,配置MySQL连接的参数。
-
数据开发 - 数据治理中心 DataArts Studio
running or pause怎么办? 如何创建数据库和数据表,数据库对应的是不是数据连接? 为什么执行完HIVE任务什么结果都不显示? 在作业监控页面里的“上次实例状态”只有运行成功、运行失败,这是为什么? 如何创建通知配置对全量作业都进行结果监控? 数据开发的并行执行节点数是多少?
-
基本概念 - 数据治理中心 DataArts Studio
数据资产总览与统计信息展示。 数据服务 数据服务是基于数据分发、发布的框架,将数据作为一种服务产品提供,满足客户的实时数据需求,能复用并符合企业和工业标准,兼顾数据共享和安全。 API网关 API网关(API Gateway)提供API托管服务,涵盖API发布、管理、运维、售卖的
-
新建MRS Hive连接 - 数据治理中心 DataArts Studio
数据湖服务,且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息,均应保持一致。创建数据连接的详细操作请参见新建数据连接。 对于Serverless服务(例如DLI),DataArts Studio通过管理中心的环境隔离来配置生产环境和开发环境数据湖服务的对应
-
配置Elasticsearch/云搜索服务(CSS)目的端参数 - 数据治理中心 DataArts Studio
配置Elasticsearch/云搜索服务(CSS)目的端参数 作业中目的连接为配置Elasticsearch连接或配置云搜索服务(CSS)连接时,即将数据导入到Elasticsearch/云搜索服务(CSS)时,目的端作业参数如表1所示。 表/文件迁移和整库迁移时需配置的参数不
-
数据目录 - 数据治理中心 DataArts Studio
在“列属性”页签,可查看数据表的列属性,给数据列添加或删除分类、标签和密级,并编辑描述。 图4 管理列属性 在“血缘”页签,可查看数据表的血缘关系,包括血缘和影响。如何配置数据血缘请参见通过数据地图查看数据血缘关系。数据开发作业配置了支持自动血缘的节点或手动配置节点的血缘关系后,作业执行时可以自动解析,在数据目录中展示数据血缘。
-
and check YARN or Spark driver's logs for further information”,如何处理? - 数据治理中心 DataArts Studio
or Spark driver's logs for further information”。 原因分析 由于MRS服务的AM资源不足导致。 处理方法: 登录MRS服务的管理面。 进入FusionInsight Manager后,选择“租户资源”页签。 单击左侧“动态资源计划”进入动态资源计划页面。
-
数据服务组件 - 数据治理中心 DataArts Studio
数据服务组件 数据服务概览 共享版与专享版数据服务的对比 开发API 调用API 云日志接入 审核中心操作说明
-
创建数据集成作业 - 数据治理中心 DataArts Studio
连接管理 创建集成任务所需的OBS连接、云数据库MySQL连接和MRS Hive连接。 单击“新建连接”,进入相应页面后,选择连接器类型“对象存储服务(OBS)”,单击“下一步”,然后如下图所示配置连接参数,单击“保存”。 图4 创建OBS连接 表1 OBS连接的参数 参数名 说明
-
申请与审批权限 - 数据治理中心 DataArts Studio
进行访问权限管理时,除了可以自上而下地通过权限集/角色方式为用户授权外,也支持自下而上的用户权限申请、审批流程。 本章主要描述如何申请者如何申请权限,以及审批者如何审批权限和回收权限。 前提条件 权限申请前,已完成空间权限集的配置,请参考配置空间权限集。 权限申请前,需要在数据目录组件
-
Elasticsearch整库迁移到云搜索服务 - 数据治理中心 DataArts Studio
弹性IP连接数据源。 创建云搜索服务连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图1所示。 图1 选择连接器类型 连接器类型选择“云搜索服务”后单击“下一步”,配置云搜索服务连接参数。 名称:用户自定义连接名称,例如“csslink”。
-
REST API SDK参考 - 数据治理中心 DataArts Studio
数据集成(注册在云数据迁移CDM服务) 数据开发 管理中心 数据架构 数据质量 数据目录 数据服务 数据集成组件的API Explorer接口和SDK代码仓注册在“云数据迁移CDM”服务下。如需使用数据集成组件的API Explorer接口和SDK代码,请在“云数据迁移CDM”服务下获取。 在线生成SDK代码
-
批作业监控 - 数据治理中心 DataArts Studio
在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”。 单击“批作业监控”页签,进入批作业的监控页面。 单击作业名称,进入后单击作业节点。查看作业节点监控的详细信息。 单击“编辑”,将进入该作业的开发页面。 父主题: 作业监控
-
新建DWS连接 - 数据治理中心 DataArts Studio
数据湖服务,且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息,均应保持一致。创建数据连接的详细操作请参见新建数据连接。 对于Serverless服务(例如DLI),DataArts Studio通过管理中心的环境隔离来配置生产环境和开发环境数据湖服务的对应
-
Oracle数据迁移到云搜索服务 - 数据治理中心 DataArts Studio
弹性IP连接数据源。 创建云搜索服务连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图1所示。 图1 选择连接器类型 连接器类型选择“云搜索服务”后单击“下一步”,配置云搜索服务连接参数。 名称:用户自定义连接名称,例如“csslink”。