检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
目前数据集成集群支持以下部分规格供用户选择： cdm.large：大规格，8核CPU、16G内存的虚拟机，最大带宽/基准带宽为3/0.8 Gbps，集群作业并发数上限为16。 cdm.xlarge：超大规格，16核CPU、32G内存的虚拟机，最大带宽/基准带宽为10/4 Gbps，集群作业并发数上限
il01、mail02和mail03，且表结构一致，数据内容不同。目的端为MRS Hive服务。 操作前提 已创建CDM集群。 已经开通了MRS Hive服务。 已经在MRS Hive服务中创建了数据库和表。 创建连接 登录DataArts Studio控制台，找到所需要的DataArts
中文无变化且占一位，字母等变为X 值变为NULL SM3算法加密 保留前x后y 掩盖前x后y VARCHAR 英文字母变为x，数字变为n 后四位被保留(中文无变化且占一位)，字母等变为X 前四位被保留(中文无变化且占一位)字母等变为X 全部被hash到64长度 中文无变化且占一位，字母等变为X
单击“下载客户端”。“客户端类型”选择“仅配置文件”，“下载路径”选择“服务器端”或“远端主机”，自定义文件保存路径后，单击“确定”开始生成客户端配置文件。 将生成的配置文件，保存到本地路径。 具体可参见MapReduce服务文档。 针对MRS 3.x版本集群： 登录FusionInsight
GES作业节点运行 ECS ecs:servers:list ecs:servers:get ecs:servers:stop ecs:servers:start ecs:cloudServers:list Open/Close Resource作业节点运行，创建主机连接 DLI dli:queue:submitJob
Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的“数据服务”模块，进入数据服务页面。 在左侧导航栏选择服务版本（例如：专享版），进入总览页。 获取API授权应用的AppKey和AppSecret（如已授权多个APP，获取其中一个APP信息即可）。
已获取OBS的访问域名、端口，以及AK、SK。 已经购买了MRS。 拥有EIP配额。 创建CDM集群并绑定EIP 如果是独立CDM服务，参考创建集群创建CDM集群；如果是作为DataArts Studio服务CDM组件使用，参考创建集群创建CDM集群。 关键配置如下： CDM集群的规格，按待迁移的数据量选择，一般选择cdm
用户Token，使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 响应参数 状态码： 200 表3 响应Body参数 参数 参数类型 描述 id String 服务ID，用于区分不同服务。 dbname String db名称，一般为cdm。
execute failed. Please contact ECS Service. 确认其ECS的sshd_config参数如下。 原因分析：由于ssh session超时断开了，因此Shell节点失败。 解决办法 编辑ECS的/etc/ssh/sshd_config文件，添加或者更新如下两个值。
Studio控制台首页，选择对应工作空间的“数据集成”模块，进入CDM首页。 图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 在左侧导航栏中单击“集群管理”进入“集群管理”页面。然后，在集群列表中找到所需要的集群，单击“作业管理”。 图2
OBS连接 介绍 通过OBS连接，可以对对象存储服务（Object Storage Service，简称OBS）抽取或加载文件，支持CSV、JSON和二进制格式。 连接样例 本示例为连接样例消息体。在实际使用中，AK（accessKey）和SK（securityKey）建议在配置
创建数据开发模块作业，通过DLI Spark节点提交Spark作业。 环境准备 已开通对象存储服务OBS，并创建桶，例如“obs://dlfexample”，用于存放Spark作业的JAR包。 已开通数据湖探索服务DLI，并创建Spark集群“spark_cluster”，为Spark作业提供运行所需的物理资源。
源端为Hive数据源且使用JDBC方式读取数据时，CDM不支持多并发，此时应配置为单进程抽取数据。 目的端为DLI数据源时，抽取并发数建议配置为1，否则可能会导致写入失败。 定时备份/恢复 该功能依赖于OBS服务。当前定时备份内容不会自动老化删除，您需要定期手动清理备份文件。 前提条件
默认密钥。 绑定Agent 是 通过代理连接时，是必选项。 MRS为非全托管服务，DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理，所以创建MRS的数据连接时，请选择一个CDM集群。如果没有可用的
POSTGRESQL DWS DDM SAP HANA linkConfig.host 是 String 数据库服务器地址。 linkConfig.port 是 String 数据库服务器的端口号。 linkConfig.databaseconfig 否 枚举 创建Oracle连接时才有该参数，选择Oracle数据库连接类型：
选择是否开启HBase的预写日志机制（WAL，Write Ahead Log）。 是：开启后如果出现HBase服务器宕机，则可以从WAL中回放执行之前没有完成的操作。 否：关闭时能提升写入性能，但如果HBase服务器宕机可能会造成数据丢失。 否 匹配数据类型 是：源端数据库中的Short、Int、Lon
密钥的更多信息，请参见什么是默认密钥。 绑定Agent 是 DWS为非全托管服务，DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理，所以创建DWS的数据连接时，请选择一个CDM集群。如果没有可用的
String 服务类型。目前支持HDFS和HBase。 linkConfig.runMode 否 枚举 “HBase_2_X”版本支持该参数。支持以下模式： EMBEDDED：连接实例与CDM运行在一起，该模式性能较好。 STANDALONE：连接实例运行在独立进程。如果CDM需
SDK使用前准备 下载SDK，并导入对应SDK到本地开发工具。 登录DataArts Studio控制台。 单击“数据服务”模块。 单击左侧菜单“共享版 > SDK”或“专享版 > SDK”。 单击SDK使用引导区域里对应语言的SDK，下载SDK包到本地。 进行SDK包完整性校验
数据量，以提高性能。 properties.max.partition.fetch.bytes int 1048576 消费Kafka时服务器将返回的每个分区的最大字节数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 properties.max.poll
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
