检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MongoDB连接参数说明 MongoDB连接适用于第三方云MongoDB服务，以及用户在本地数据中心或ECS上自建的MongoDB，常用于从MongoDB同步数据到大数据平台。 连接本地MongoDB数据库时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行
HDFS连接参数说明 目前CDM支持连接的HDFS数据源有以下几种： MRS HDFS FusionInsight HDFS Apache HDFS 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 MRS HDFS 连
SDK使用前准备 下载SDK，并导入对应SDK到本地开发工具。 登录DataArts Studio控制台。 单击“数据服务”模块。 单击左侧菜单“共享版 > SDK”或“专享版 > SDK”。 单击SDK使用引导区域里对应语言的SDK，下载SDK包到本地。 进行SDK包完整性校验
配置资源权限 本章主要介绍如何通过资源权限创建权限策略到Ranger组件，实现MRS资源权限控制，从而降低企业数据信息安全风险。 当前支持创建的权限策略如下： 创建HDFS权限策略 创建Hive访问权限策略 创建Hive脱敏权限策略 创建Hive行级过滤器权限策略 创建HBase权限策略
Kafka连接参数说明 MRS Kafka 连接MRS上的Kafka数据源时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 MRS Kafka连接参数 参数名 说明 取值样例 名称 连接的
暗水印内容为获取敏感数据用户的“IAM用户ID”前16位。用户ID可以参考如下步骤进行获取： 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面，查看账号名和账号ID、IAM用户名和IAM用户ID，在项目列表中查看项目和项目ID。 值得注意的是，动态水印策略为DataArts
云搜索服务（CSS）连接参数说明 华为云的云搜索服务（CSS）是一个基于Elasticsearch且完全托管的在线分布式搜索服务，CSS连接适用于将各类日志文件、数据库记录迁移到CSS，Elasticsearch引擎进行搜索和分析的场景。 导入数据到CSS推荐使用Logstash
MRS ClickHouse连接参数说明 连接MRS ClickHouse时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 ClickHouse连接参数 参数名 说明 取值样例 名称 连接名称。
中。{projectId}即项目ID，您可以参考如下步骤进行获取。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面，查看账号名和账号ID、IAM用户名和IAM用户ID，在项目列表中查看项目和项目ID。 DLI脏数据OBS路径 用于指定DataArts
步骤2：数据准备 使用DataArts Studio前的准备 如果您是第一次使用DataArts Studio，请参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例（DataArts Studio企业版）、创建工作空间等一系列
查询SQL获取max值传递给CDM作业 场景描述 通过查询SQL语句，将获取到的最大时间的max值传递给CDM作业。在CDM作业的高级属性里面，通过where子句判断最大时间范围，获取所需要的迁移数据，从而完成数据迁移任务，最终完成增量迁移任务。 约束条件 已完成新建数据连接的操作。
数据开发配置数据搬迁 当前管理中心支持直接搬迁数据开发组件中已提交版本的脚本和作业数据，但导出作业时默认只导出作业，不包含其依赖的脚本和资源。 您可以通过管理中心配置数据搬迁进行搬迁，也可以参考本章节通过数据开发的导入导出功能进行搬迁。 数据开发数据搬迁依赖于数据开发的脚本、作业、环境变量、资源导入导出功能。
创建用户并加入用户组的具体操作，请参见创建用户并加入用户组。 仅当创建IAM用户时的访问方式勾选“编程访问”后，此IAM用户才能通过认证鉴权，从而使用API、SDK等方式访问DataArts Studio。 为“DAYU User”系统角色用户自定义工作空间角色，并将其添加到工作空间成员、配置角色。
arm_项目名称_实例ID”。 项目名称可以参考如下步骤进行获取： 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面，查看账号名和账号ID、IAM用户名和IAM用户ID，在项目列表中查看项目和项目ID。 实例ID可参考如下步骤进行获取： 在DataArts
配置Elasticsearch/云搜索服务（CSS）目的端参数 作业中目的连接为Elasticsearch连接参数说明或云搜索服务（CSS）连接参数说明时，即将数据导入到Elasticsearch/云搜索服务（CSS）时，目的端作业参数如表1所示。 表/文件迁移和整库迁移时需配置
创建用户并加入用户组的具体操作，请参见创建用户并加入用户组。 仅当创建IAM用户时的访问方式勾选“编程访问”后，此IAM用户才能通过认证鉴权，从而使用API、SDK等方式访问DataArts Studio。 为“DAYU User”系统角色用户自定义工作空间角色，并将其添加到工作空间成员、配置角色。
先到管理中心模块中建立数据连接。 针对通过代理连接的MRS Hive，需要选择MRS API方式或者代理方式提交： MRS API方式：通过MRS API的方式提交。历史作业默认是MRS API提交，编辑作业时建议不修改。 代理方式：通过用户名、密码访问的方式提交。新建作业建议选
Data Migration 功能 该节点用于执行一个集成作业，Data Migration节点支持离线处理集成作业和实时处理集成作业。 参数 用户可参考表1和表2配置Data Migration节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含
创建CDM集群 CDM采用独立集群的方式为用户提供安全可靠的数据迁移服务，各集群之间相互隔离，不可相互访问。 CDM集群可用于如下场景： 用于创建并运行数据迁移作业。 作为管理中心组件连接数据湖时的Agent代理。 前提条件 已申请VPC、子网和安全组。CDM集群连接云上其它服务
配置实时处理集成作业 完成数据连接、网络、资源组的准备配置后，您可创建实时同步作业，将多种输入及输出数据源搭配组成同步链路，进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务，并在创建完成后查看任务运行情况。 前提条件 已创建数据连接，且创建的连
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
