检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataArts Studio配置数据搬迁实践 DataArts Studio配置数据搬迁简介 管理中心配置数据搬迁 数据集成配置数据搬迁 数据架构配置数据搬迁 数据开发配置数据搬迁 数据质量配置数据搬迁 数据目录配置数据搬迁 数据安全配置数据搬迁 数据服务配置数据搬迁
配置作业源端参数 配置MySql源端参数 配置Hive源端参数 配置HDFS源端参数 配置Hudi源端参数 配置PostgreSQL源端参数 配置SQLServer源端参数 配置Oracle源端参数 配置DLI源端参数 配置OBS源端参数 配置SAP HANA源端参数 配置Kafka源端参数
购买并配置DataArts Studio 注册账号并实名认证 购买DataArts Studio实例 购买DataArts Studio增量包 访问DataArts Studio实例控制台 创建并配置简单模式工作空间 （可选）升级企业模式工作空间 管理DataArts Studio资源
是否需要测试Hive JDBC连通。 否 是否使用集群配置 您可以通过使用集群配置，简化Hadoop连接参数配置。 否 集群配置名 仅当“是否使用集群配置”为“是”时，此参数有效。此参数用于选择用户已经创建好的集群配置。 集群配置的创建方法请参见管理集群配置。 hive_01 单击“显示高级属性
（可选）如需要将质量作业中不符合设定规则的异常数据存储在异常表中，可以打开“异常数据输出配置”开关。 图6 异常数据输出开关 单击开关，并打开“生成异常数据”按钮，表示异常数据将按照配置的参数存储到规定的库中。 图7 异常数据输出配置 各参数具体含义如下： 数据库或Schema：表示存储异常数据的数据库或Schema。
Administrator账号登录DataArts Studio管理控制台。 在旧版首页的“空间管理”或新版首页的“实例配置>空间管理”页签，单击“新建”，在空间信息页面请根据页面提示配置参数，参数说明如表1所示。 图1 新建空间 表1 新建空间参数说明 参数名 说明 空间名称 空间名称，只能
单击“保存”，对设置的配置项进行保存。 配置周期调度 当前作业所依赖的作业执行失败后，当前作业的处理策略是根据配置的默认策略来执行，配置默认策略操作如下。 在数据开发主界面的左侧导航栏，选择“配置管理 > 配置”。 单击“默认项设置”，可设置“周期调度”配置项。 策略支持如下三种，系统默认配置为“取消执行”。
再单击“新建作业”。 图6 新建作业 按照如下步骤完成作业参数的配置。 如图7所示，配置作业名为movies_obs2dws，配置源端作业参数，然后配置目的端作业参数。 在本示例中，目的端作业参数“导入开始前”配置为“清除全部数据”，表示每次作业运行都会先清空数据再导入。在实际业
者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要先配置好OBS连接。针对文件到表类迁移的数据，建议配置写入脏数据。 作业运行完是否删除：这里保持默认值“不删除”。根据使用场景，也可配置为“删除”，防止迁移作业堆积。 单击“保存并运行”，回到作业管
业务指标监控（待下线） 业务指标监控简介 新建指标 新建规则 新建业务场景 查看业务场景实例 父主题： 数据质量
设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试 是 节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 超时重试 最大重试次数 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明： 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后，系统支持再重试。
配置CDM作业源端参数 配置OBS源端参数 配置HDFS源端参数 配置HBase/CloudTable源端参数 配置Hive源端参数 配置DLI源端参数 配置FTP/SFTP源端参数 配置HTTP源端参数 配置PostgreSQL/SQL Server源端参数 配置DWS源端参数
注意，只有当CDM集群在关联了工作空间后，才能在所关联的工作空间中使用该CDM集群。 图2 关联工作空间 实时集成资源组关联工作空间 父主题： 购买并配置DataArts Studio
数据集成配置 属性配置 否 其他客户端配置属性。 例如： 1. socketTimeout：配置Hive JDBC连接超时时间，单位为秒； 2. fs.defaultFS：配置HDFS元数据的NameNode URI地址； 3. hadoop.user.name：配置访问HDFS时的用户名。
配置数据安全策略（待下线） 数据安全简介 新建数据密级 新建数据分类 配置脱敏策略 父主题： 数据目录
Studio数据连接。 配置企业模式环境隔离 配置开发、生产环境的DLI队列和DB映射配置的环境隔离。 对于DWS、MRS Hive和MRS Spark这三种数据源，如果在创建数据连接时选择同一个集群资源，则需要在同一个数据湖服务下配置两套数据库，进行开发与生产环境隔离，具体请参见DB配置。 对于
则已开放连接端口。 CDM集群与云上服务同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，您还必须确保
配置DataArts Studio数据连接参数 DWS数据连接参数说明 DLI数据连接参数说明 MRS Hive数据连接参数说明 Apache Hive数据连接参数说明 MRS HBase数据连接参数说明 MRS Kafka数据连接参数说明 MRS Spark数据连接参数说明 MRS
购买数据集成资源组增量包 购买数据服务专享集群增量包 购买作业节点调度次数/天增量包 购买技术资产数量增量包 购买数据模型数量增量包 父主题： 购买并配置DataArts Studio
Studio实例中的CDM集群）与云上服务同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，您还必须确保该云服务的实例与DataArts
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
