检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
连接准备 准备DataArts Studio管理中心数据连接。 说明： 数据连接配置中必须勾选数据集成选项。 数据连接中使用的Agent代理实际为CDM集群，所用集群建议升级至较新版本（24.4.0B030版本以上），以满足功能特性需求，详情请联系客服或技术支持人员。 参考创建DataArts
用户可以对已选择的作业名称进行删除并重新添加。 说明： 选择作业名称时，建议选择业务流程最下游的节点任务，选择后，影响该节点数据产出的上游节点都将被纳入基线监控范围，不推荐将业务流程上所有的任务都添加到基线上。 优先级 设置基线的优先级，支持以下优先级： 1 2 3 4 5 说明： 定义基线的优先级，数值越大
Operator DIS User （可选，不推荐）SWR Admin 说明： 仅当在数据开发组件作业中使用DLI Spark节点选择自定义镜像时，需要容器镜像服务中的镜像读取权限。 推荐通过镜像授权管理，添加所需镜像的读取权限。不推荐直接为用户授予SWR Admin系统角色， 可能存在权限过大的风险。
数据连接。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。 基础与网络连通配置 手动 否 通过代理连接的时候，此项可配置，通过勾选按钮来选择集群名模式或连接串模式。 使用集群名模式时通过选择填写集群名称进行连接配置。 使用连接串模式填写对应集群的IP和端口进行连接配置。
使用集群配置为是时，是必选项。 DataArts Studio无法直接与非全托管服务进行连接，需要提供DataArts Studio与非全托管服务通信的代理。CDM集群可以提供通信代理服务，请选择一个CDM集群，如果没有可用的CDM集群，请参考创建CDM集群进行创建。 数据集成配置 Hive版本 HIVE_3_X
Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理，所以创建DWS的数据连接时，请选择一个CDM集群。如果没有可用的CDM集群，请参考创建CDM集群进行创建。 CDM集群作为网络代理，必须和DWS集群网络互通才可以成功创建DWS连接，为确保两者网络互通，
单线程flush的FileGroup的数量 <= 5，推荐值2。 单线程flush的FileGroup的数量 <= 10，推荐值5。 单线程flush的FileGroup的数量 <= 25，推荐值10。 单线程flush的FileGroup的数量 <= 50，推荐值20。 单线程flush的FileGroup的数量
rts Studio实例ID和工作空间ID获取。 在对应主题的操作栏，选择“添加订阅”。然后协议选择“短信”或“邮件”，输入接收告警通知的手机号或邮箱即可。 图2 添加订阅 购买规格增量包 规格增量包的购买方式类似，本例以购买“作业节点调度次数/天增量包”为例进行说明。 单击已开通实例卡片上的“购买增量包”。
据连接。 针对通过代理连接的MRS Hive，需要选择MRS API方式或者代理方式提交： MRS API方式：通过MRS API的方式提交。历史作业默认是MRS API提交，编辑作业时建议不修改。 代理方式：通过用户名、密码访问的方式提交。新建作业建议选择代理提交，可以避免权限问题导致的作业提交失败。
api failed. 调用API失败。 确认调用所执行的SQL正确，可以正常使用（所执行SQL详见访问日志，仅API方可见）。 CDM中代理异常，错误原因详见返回的DLG错误信息。 调用超时，若为DWS数据库，建议API采用自定义分页。 调用超时，请优化查询语句，确保数据库中能短时间内完成执行。
令确认服务器的Python环境。 已开通数据集成增量包，CDM集群名为“cdm-dlfpyhthon”，提供数据开发模块与ECS主机通信的代理。 请确保ECS主机与CDM集群网络互通，互通需满足如下条件： CDM集群与ECS主机同区域情况下，同虚拟私有云、同子网、同安全组的不同实
Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理，所以创建DWS的数据连接时，请选择一个CDM集群。如果没有可用的CDM集群，请参考创建CDM集群进行创建。 CDM集群作为网络代理，必须和DWS集群网络互通才可以成功创建DWS连接，为确保两者网络互通，
评估机构受理评估申请后，组织实施文件评审和现场评审并出具评估报告，给予评估等级的推荐意见，并报评估工作部备案。 评估工作部对评估机构报送的评估结果进行合规性审查。对于合规性审查中发现存在较大问题的评估结果有权驳回。对于评估机构推荐的量化管理级和优化级评估结论，评估工作部需组织专家对评估结果进行评议。
CDM集群的规格，按待迁移的数据量选择，一般选择cdm.medium即可，满足大部分迁移场景。 CDM集群的VPC必须和云搜索服务集群所在VPC一致，且推荐子网、安全组也与云搜索服务一致。 如果安全控制原因不能使用相同子网和安全组，那么需要确保安全组规则能允许CDM访问云搜索服务集群。 CDM
上限为200，超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 在创建数据连接前，请确保您已具备连接所需的Agent代理（即CDM集群），且待连接的数据湖与CDM集群之间网络互通。 如果数据湖为云下的数据库，则需要通过公网或者专线打通网络。请确保数据源所在的
Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理，所以创建MRS的数据连接时，请选择一个CDM集群。如果没有可用的CDM集群，请参考创建CDM集群进行创建。 CDM集群作为网络代理，必须和MRS集群网络互通才可以成功创建MRS连接，为确保两者网络互通，
说明： 数据连接为MRS API连接时支持为Spark SQL作业独立配置需要的资源（例如线程、内存、CPU核数并指定MRS资源队列等）。代理连接时不支持配置。 您需要先在数据安全组件中配置对应的队列（参考配置队列权限，）后，才能在此处选择到已配置的队列。当有多处同时配置了资源队列时，此处配置的资源队列为最高优先级。
处理技术，使用CDM迁移数据的优势如表1所示。 表1 CDM优势 优势项 用户自行开发 CDM 易使用 自行准备服务器资源，安装配置必要的软件并进行配置，等待时间长。 程序在读写两端会根据数据源类型，使用不同的访问接口，一般是数据源提供的对外接口，例如JDBC、原生API等，因此
…d93f0。 图2 获取实例ID和工作空间ID 在对应主题的操作栏，选择“添加订阅”。然后协议选择“短信”或“邮件”，输入接收告警通知的手机号或邮箱即可。 图3 添加订阅 购买作业节点调度次数/天增量包 单击已开通实例卡片上的“购买增量包”。 进入购买DataArts Studio增量包页面，按照如下配置：
自定义镜像是DLI的特性。用户可以依赖DLI提供的Spark或者Flink基础镜像，使用Dockerfile将作业运行需要的依赖（文件、jar包或者软件）打包到镜像中，生成自己的自定义镜像，然后将镜像发布到SWR（容器镜像服务）中，最后在此选择自己生成的镜像，运行作业。 自定义镜像可以改变
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
