检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
因为人员投入不足，大数据集群能力不匹配，而无法聚焦业务创新，使得存量100T的数据只有4%的利用率。 在将本地的贸易统计数据迁移到华为云之后，基于华为公有云的大数据分析能力，可帮助H公司屏蔽大数据基础设施复杂的构建、维护过程，使其客户人员可以全身心聚焦业务创新，盘活100T的存量数据，使资产最大化变现。
输入已完成注册、备案的域名，数据服务调用DNS服务将公网域名与外网地址相关联。 图1 专享版集群网络架构说明 因此，为了保证专享版集群API能够被用户访问，集群创建中需要注意如下网络配置： VPC 虚拟私有云。专享版实例需要配置虚拟私有云（VPC），在同一VPC中的资源（如ECS
群，请参考创建CDM集群进行创建。 CDM集群作为网络代理，必须和MRS集群网络互通才可以成功创建MRS连接，为确保两者网络互通，CDM集群必须和MRS集群处于相同的区域、可用区，且使用同一个VPC和子网，安全组规则需允许两者网络互通。 说明： 对于多个开启Kerberos认证的
心运行环境等基础设施，数据服务会为您准备好计算资源，并支持弹性扩展，零运维成本。 图6 数据服务架构图 数据安全：全方位安全保障 网络安全 基于网络隔离、安全组规则以及一系列安全加固项，实现租户隔离和访问权限控制，保护系统和用户的隐私及数据安全。 用户权限策略 基于角色的访问控制
群，请参考创建CDM集群进行创建。 CDM集群作为网络代理，必须和MRS集群网络互通才可以成功创建MRS连接，为确保两者网络互通，CDM集群必须和MRS集群处于相同的区域、可用区，且使用同一个VPC和子网，安全组规则需允许两者网络互通。 说明： 对于多个开启Kerberos认证的
默认不需要配置，分库分表场景下如果实例数和表数过多，建议根据实际情况增加网络内存。 taskmanager.memory.network.fraction int 0.1 默认不需要配置，分库分表场景下如果实例数和表数过多，建议根据实际情况增加网络内存。 checkpoint.interval int
则需要使用账号给当前用户添加“查看委托列表”的权限。 先创建自定义策略（查询指定条件下的委托列表），再通过给用户组授予自定义策略来进行精细的访问控制。 登录华为云控制台。 在控制台页面，鼠标移动至右上方的账号名，在下拉列表中选择“统一身份认证”。 在左侧导航窗格中，单击“角色授权”>“创建自定义策略”。
Studio实例或增量包时，是否将资源放在同一可用区内，主要取决于您对容灾能力和网络时延的要求。 如果您的应用需要较高的容灾能力，建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低，则建议您将资源创建在同一可用区内。 详情请参见什么是可用区。 工作空间
配置。 检测网络连通性：数据连接和资源组配置完成后需要测试整个迁移任务的网络连通性，可通过以下方式进行数据源和资源组之间的连通性测试。 单击展开“源端配置”触发连通性测试，会对整个迁移任务的连通性做校验。 单击源端和目的端数据源和资源组中的“测试”按钮进行检测。 网络连通性检测异
M集群，请参考创建CDM集群进行创建。 CDM集群作为网络代理，必须和RDS网络互通才可以成功创建RDS连接，为确保两者网络互通，CDM集群必须和RDS处于相同的区域、可用区，且使用同一个VPC和子网，安全组规则需允许两者网络互通。 说明： CDM集群作为管理中心数据连接Agen
S），可以使用数据服务专享版实例的私有地址调用API。建议将专享版集群和您的其他关联业务配置一个相同的VPC、子网、安全组，确保网络安全的同时，方便网络配置。 VPC、子网、安全组的详细操作，请参见《虚拟私有云用户指南》。 说明： 目前专享版集群创建完成后不支持切换VPC、子网、安全组，请谨慎选择。
如果目标数据源为云下的数据库，则需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 如果目标数据源为云上服务（如DWS、MRS及ECS等），则网络互通需满足如下条件： CDM集
支持数据库、Hadoop、NoSQL、数据仓库、文件等多种类型的数据源。 多种网络环境支持 随着云计算技术的发展，用户数据可能存在于各种环境中，例如公有云、自建/托管IDC、混合场景等。在异构环境中进行数据迁移需要考虑网络连通性等因素，给开发和维护都带来较大难度。 无论数据是在用户本地自建的IDC中（Internet
如果选择集群后连接失败，请检查MRS集群与作为Agent的CDM实例是否网络互通。网络互通需满足如下条件： DataArts Studio实例（指DataArts Studio实例中的CDM集群）与MRS集群处于不同区域的情况下，需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP，
thon”，提供数据开发模块与ECS主机通信的代理。 请确保ECS主机与CDM集群网络互通，互通需满足如下条件： CDM集群与ECS主机同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则，配置路由
数据质量：数据质量组件中的质量作业和对账作业功能，不支持对接MRS集群存算分离的场景。 数据源简介 表2 数据源简介 数据源类型 简介 数据仓库服务（DWS） 华为云DWS是基于Shared-nothing分布式架构，具备MPP大规模并行处理引擎，兼容标准ANSI SQL 99和SQL 2003，同时
迁移。 迁移文件或对象时支持文件级增量迁移（通过配置跳过重复文件实现），但不支持断点续传。 例如要迁移3个文件，第2个文件迁移到一半时由于网络原因失败，再次启动迁移任务时，会跳过第1个文件，从第2个文件开始重新传，但不能从第2个文件失败的位置重新传。 文件迁移时，单个任务支持千万
迁移。 迁移文件或对象时支持文件级增量迁移（通过配置跳过重复文件实现），但不支持断点续传。 例如要迁移3个文件，第2个文件迁移到一半时由于网络原因失败，再次启动迁移任务时，会跳过第1个文件，从第2个文件开始重新传，但不能从第2个文件失败的位置重新传。 文件迁移时，单个任务支持千万
创建），且待连接的数据湖与CDM集群之间网络互通。 如果数据湖为云下的数据库，则需要通过公网或者专线打通网络。请确保数据源所在的主机和CDM集群均能访问公网，并且防火墙规则已开放连接端口。 如果数据湖为云上服务（如DWS、MRS等），则网络互通需满足如下条件： CDM集群与云上服
过程中，您需要用到账号、用户和密码等信息。 项目 区域默认对应一个项目，这个项目由系统预置，用来隔离物理区域间的资源（计算资源、存储资源和网络资源），以默认项目为单位进行授权，用户可以访问您账号中该区域的所有资源。如果您希望进行更加精细的权限控制，可以在区域默认的项目中创建子项目
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
