检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
此外，还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同，如果不同，您需要修改工作空间的企业项目。 当同一Agent连接多个MRS集群时，如果其中一个MRS集群被删除或状态异常，会影响另外一个正常的MRS集群数据连接。因此建议一个Agent对应一个MRS集群数据连接。
钮可进入数据库选择界面。 dbadmin 表名 单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts
分页返回结果，指定每页最大记录数。范围[1,1000] 默认值：10 jobName 否 String 作业名称 tags 否 String 作业标签列表，如果有多个标签，以英文逗号分隔。例如：tag1,tag2,tag3。 请求参数 表1 请求Header参数 参数名 是否必选 参数类型 说明 workspace
Spark作业输出数据路径，可以为HDFS或者是OBS路径。 programParameter 否 String 运行程序参数 允许多个key:value，多个参数要用竖线隔开。 表26 MapReduce节点属性说明 参数名 是否必选 参数类型 说明 clusterName 是 String
Studio数据连接创建所需连接。 需要测试数据源端和资源组之间网络是否可用，不可用时根据界面提示修改。 选择资源组，集群创建可参见创建CDM集群。 选多个集群时系统会随机下发任务，故需要多个集群时版本规格建议选择集群版本一致的集群，否则可能因为集群版本不一致导致作业失败。 选择已创建的目的端数据连接，且创建的
STANDALONE：连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源（MRS、Hadoop或CloudTable），并且既有KERBEROS认证模式又有SIMPLE认证模式，只能使用STANDALONE模式。 选择STANDALONE模式时，CDM支持在多个MRS集群的HDFS之间迁移数据。
通过Import GES节点自动生成元数据时，有如下约束限制： 生成元数据时，目前仅支持选择单标签（Label）场景的点表和边表。如果点表或边表中存在多个标签，则生成的元数据会存在缺失。 生成元数据xml文件是手动单击“生成元数据”触发的，如果在该节点在后续的作业调度运行中，点表和边表结构发
CDM集群作为管理中心数据连接Agent时，单集群的并发活动线程最大为200。即当多个数据连接共用同一Agent时，通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200，超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 数据源认证及其他功能配置 使用委托
CDM集群作为管理中心数据连接Agent时，单集群的并发活动线程最大为200。即当多个数据连接共用同一Agent时，通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200，超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 数据集成配置 Hive版本 HIVE_3_X
CDM集群作为管理中心数据连接Agent时，单集群的并发活动线程最大为200。即当多个数据连接共用同一Agent时，通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200，超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 数据集成配置 数据库名称 是 配置为要连接的数据库名称。
归属性：一般来说，特定的数据归属特定的组织或者个人，数据具有归属性。 多源性：同一个数据可以有多个来源（多个父亲）。一个数据可以是多个数据经过加工而生成的，而且这种加工过程可以是多个。 可追溯性：数据的血缘关系，体现了数据的生命周期，体现了数据从产生到消亡的整个过程，具备可追溯性。
"physical_table" : "CREATE_SUCCESS", "technical_asset" : "CREATE_FAILED", "business_asset" : "UPDATE_SUCCESS", "meta_data_link"
Gbps，理论极限值在40TB左右；cdm.4xlarge实例规格网卡的基准/最大带宽为36/40 Gbps，理论极限值在360TB左右。对传输速度有要求的情况下可以使用多个数据集成实例实现。 上述数据量为理论极限值，实际传输数据量受数据源类型、源和目的数据源读写性能、带宽等多方面因素制约，实测cdm.larg
动作业依然会将组内作业运行，因此在用户隔离场景不建议使用按组批量启动作业功能。 批量运行作业 勾选一个或多个作业后，单击“运行”可批量启动作业。 批量删除作业 勾选一个或多个作业后，单击“删除”可批量删除作业。 批量导出作业 单击“导出”，弹出批量导出页面，如图1。 图1 批量导出页面
标经常在较高区间运行，建议您选用大规格的CDM集群规格进行数据迁移。 使用多个CDM集群 包含但不限于以下情况时，建议您使用多个CDM集群进行业务分流，提升迁移效率与业务稳定性。 需要作为不同的用途或给多个业务部门使用。例如既需要用于数据迁移作业，又需要作为DataArts St
Spark作业输出数据路径，可以为HDFS或者是OBS路径。 programParameter 否 String 运行程序参数。 允许多个key:value，多个参数要用竖线隔开。 表27 MapReduce节点属性说明 参数名 是否必选 参数类型 说明 clusterName 是 String
如果选择界面没有待选择的表，请确认表是否已经创建，或者对应连接里的账号是否有元数据查询的权限。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 该参数支持配置正则表达式，
码汉字所以报错。因此需要将编码格式转化为“utf8”。 解决方法 用python3解释器，在主机上做一个软连接，如下图所示。 图2 主机上做软连接 在文件中设置标准编码方式。 # -*- coding: utf-8 -*-；或者设置主机的编码格式：在python安装目录的Lib\
String 每次向DIS请求数据限制最大请求记录数。 fromJobConfig.shardId 是 String DIS分区ID，该参数支持输入多个分区ID，使用“,”分隔。 fromJobConfig.dataFormat 是 枚举 解析数据时使用的格式： BINARY：适用于文件迁移场景，不解析数据内容原样传输。
钮就可以删除该JOIN表。 图4 JOIN条件 字段映射 为来源于当前映射的字段，依次选择一个含义相同的源字段。如果表字段来源于多个模型，您需要新建多个映射，每个映射中，您只需要为来源于当前映射的字段设置源字段，其他字段可以不设置。 在映射区域的右上角，单击按钮，可以删除指定的映射，单击可以收起映射区域。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
