检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI程序包：作业执行前，会将资源包文件上传到DLI资源管理。 分组设置 否 当“资源类型”选择了“DLI程序包”时，需要设置。可选择“已有分组”，“创建新分组”或“不分组”。 组名称 否 当“资源类型”选择了“DLI程序包”时，需要设置。 选择“已有分组”：可选择已有的分组。 选择“创建新分组”：可输入自定义的组名称。
安全管理。 弹性云服务器服务 DataArts Studio使用弹性云服务器（Elastic Cloud Server，简称ECS）进行CDM集群和数据服务集群的创建，另外DataArts Studio可以通过主机连接在ECS上执行Shell或Python脚本。 虚拟私有云服务 DataArts
选择执行Python语句的主机。需确认该主机配有用于执行Python脚本的环境。 须知： Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本
通过MRS Spark Python节点实现在MRS中执行预先定义的Spark Python作业。 MRS Spark Python算子的具体使用教程，请参见开发一个MRS Spark Python作业。 参数 用户可参考表1，表2和表3配置MRS Spark Python节点的参数。 表1
案中需要使用虚拟专用网络VPN网关所配置的虚拟私有云和对应的子网。 查看方式： 登录虚拟专用网络控制台，在左侧导航栏，选择“虚拟专用网络 > VPN网关”，在列表中找到连通其他云所使用的VPN网关，单击VPN网关名称，查看关联的虚拟私有云和本端子网。 图2 查看虚拟网关 VPC：10
通过MRS Flink Job节点执行数据开发模块中预先定义的Flink SQL脚本和Flink作业。 MRS Flink Job节点的具体使用教程，请参见开发一个MRS Flink作业。 参数 用户可参考表1和表2配置MRS Flink节点的参数。 表1 属性参数 参数 是否必选 说明
一个正常的MRS集群数据连接。因此建议一个Agent对应一个MRS集群数据连接。 服务器列表 是 手动参数为连接串模式时显示该参数。 一个或多个通过逗号分割的服务器列表（服务器域名或IP地址:服务器端口）。 例如: 192.168.0.1:27017,192.168.0.2:27017
见主机连接参数说明。 连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本
用于存储导入图过程中不符合元数据定义的点、边数据集和详细日志。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间（秒） 是 设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 失败重试
Failed 未满足前提条件，服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于请求的实体过大，服务器无法处理，因此拒绝请求。为防止客户端的连续请求，服务器可能会关闭连接。如果只是服务器暂时无法处理，则会包含一个Retry-After的响应信息。
SQL节点的具体使用教程，请参见开发一个Hive SQL作业。 MRS Hive SQL节点不支持Hive的事务表。 参数 用户可参考表1，表2和表3配置MRS Hive SQL节点的参数。 表1 属性参数 参数 是否必选 说明 MRS作业名称 否 MRS的作业名称。 如果未设置MRS作业
CDM迁移作业的抽取并发数应该如何设置？ CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下： 数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。 不同源端数据源的作业分片维度有所不同，因此某
若选择SQL语句方式，数据开发模块将无法解析您输入SQL语句中携带的参数。 数据连接 是 默认选择SQL脚本中设置的数据连接，支持修改。 数据库 是 默认选择SQL脚本中设置的数据库，支持修改。 脚本参数 否 关联的SQL脚本如果使用了参数，此处显示参数名称，请在参数名称后的输入框配置参数值。参数值支持使用EL表达式。
如何使用CDM服务将MySQL的数据导出成SQL文件，然后上传到OBS桶？ 解决方案 CDM服务暂不支持该操作，建议通过手动导出MySQL的数据文件，然后在服务器上开启SFTP服务，然后新建CDM作业，源端是SFTP协议，目的端是OBS，将文件传过去。 父主题： 数据集成（CDM作业）
Dummy节点不执行任何操作，本例选择Dummy节点用于设置Dummy节点到Subjob节点之间连线的IF条件。 Subjob节点用于将需要后续执行的作业job2作为子作业引用执行。实际使用中您可以引用已有作业，也可以使用其他作业节点替代Subjob节点。 作业的调度方式设置为“事件驱动调度”，DIS通道
["\"01\""]];[['\'00\''],['\'01\'']] 子作业并发数 是 循环产生的子作业可以并发执行，您可设置并发数。 说明： 如果子作业中包含CDM Job节点，子作业并发数需要设置为1。 子作业实例名称后缀 否 For循环生成的子任务名称：For循环节点名称 + 下划线 + 后缀。
命令样例如下： pip install krbcontext == 0.10 执行pip命令需要查看服务器安装的版本（有可能是pip3），执行如下命令进行查看： which pip 第二步：在执行任务的服务器上安装Impala客户端（也可以装整个MRS客户端）并上传Impala用户认证凭证 在
专享版集群网络架构说明 因此，为了保证专享版集群API能够被用户访问，集群创建中需要注意如下网络配置： VPC 虚拟私有云。专享版实例需要配置虚拟私有云（VPC），在同一VPC中的资源（如ECS），可以使用专享版实例的私有地址调用API。 在购买时专享版实例时，建议配置和您其他关联业务相同VPC，确保网络安全的同时，方便网络配置。
示例场景说明 本示例是一个DataArts Studio全流程入门教程，旨在介绍如何在DataArts Studio平台完成端到端的全流程数据运营。 本案例基于某市的出租车出行数据，选择MRS Hive作为数据湖底座，使用DataArts Studio实施全流程数据治理。期望通过实施数据治理达到以下目标：
如何将云下内网或第三方云上的私网与CDM连通？ 很多企业会把关键数据源建设在内网，例如数据库、文件服务器等。由于CDM运行在云上，如果要通过CDM迁移内网数据到云上的话，可以通过以下几种方式连通内网和CDM的网络： 如果目标数据源为云下的数据库，则需要通过公网或者专线打通网络。通
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
