检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ttp是80。 443 OBS桶类型 用户下拉选择即可，一般选择为“对象存储”。 对象存储 访问标识(AK) AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥，并获得对应的AK和SK。 您可以通过如下方式获取访问密钥。 登录控制台，在用户名下拉列表中选择“我的凭证”。
/v1/{project_id}/scripts/{script_name}/instances/{instance_id} 参数说明 表1 URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号，获取方法请参见项目ID和账号ID。 script_name 是
操作场景 假设MySQL上有一张表trip_data，保存了自行车骑行记录，里面有起始时间、结束时间，起始站点、结束站点、骑手ID等信息，trip_data表字段定义如图1所示。 图1 MySQL表字段 使用CDM将MySQL中的表trip_data导入到MRS Hive分区表，流程如下：
应用流量限制不超过用户流量限制。 源IP流量限制不超过API流量限制。 √ 访问控制策略数量 每个用户最多可以创建100个访问控制策略。 √ VPC通道数量 每个用户最多创建30个VPC通道。 √ 变量数量 每个分组在任意一个环境中，最多创建50个变量。 √ 弹性云服务器数量 每个VPC通道最多添加200个弹性云服务器。
工作空间级别的全局委托。适用于该空间内的所有作业。配置公共委托请参考配置公共委托。 访问标识(AK) 是 使用委托为否时显示该参数。 AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥，并获得对应的AK和SK。 您可以通过如下方式获取访问密钥。 登录控制台，在用户名下拉列表中选择“我的凭证”。
Client节点返回值教程 Rest Client节点可以执行华为云内的RESTful请求。 本教程主要介绍如何获取Rest Client的返回值，包含以下两个使用场景举例。 通过“响应消息体解析为传递参数定义”获取返回值 通过EL表达式获取返回值 通过“响应消息体解析为传递参数定义”获取返回值 如图1所示，第一个Rest
Client节点返回值教程 Rest Client节点可以执行华为云内的RESTful请求。 本教程主要介绍如何获取Rest Client的返回值，包含以下两个使用场景举例。 通过“响应消息体解析为传递参数定义”获取返回值 通过EL表达式获取返回值 通过“响应消息体解析为传递参数定义”获取返回值 如图1所示，第一个Rest
钟） 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 在作业目录中，右键单击目录名称，选择“新建作业”，创建一个批处理的Pipeline作业，分钟作业的名称为job_3417_kk01。 进入作业画布界面后，选择MRS Spark作业算子，配置算子相关参数，配置指导请参见MRS
业务相关的作业，一个作业可以被多个解决方案复用。 作业：作业由一个或多个节点组成，执行作业可以完成对数据的一系列操作。 脚本：脚本（Script）是一种批处理文件的延伸，是一种纯文本保存的程序，一般来说的计算机脚本程序是确定的一系列控制计算机进行运算操作动作的组合，在其中可以实现一定的逻辑分支等。
见开发Pipeline作业）。 前提条件 已新增Shell脚本，请参见新建脚本。 已新建主机连接，该Linux主机用于执行Shell脚本，请参见主机连接参数说明。 连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell或Python脚本可以在该ECS主机上运行
手动填写IP时请根据场景和顺序填写，多个IP之间使用","分隔。例如: 127.0.0.1或127.0.0.1,127.0.0.2,127.0.0.3。 填写单个IP，IP应为MRS集群管理面的浮动IP。 填写3个IP时，应填写MRS集群业务面的主节点IP、备节点IP和MRS集群管理面的浮动IP。
URI地址。 认证类型：安全模式Hadoop选择KERBEROS鉴权，通过获取客户端的principal和keytab文件进行认证。 Principal、Keytab文件：用于认证的账号Principal和keytab文件，可以联系Hadoop管理员获取。 单击“保存”，CDM会自动测试连接是否可用。
手动填写IP时请根据场景和顺序填写，多个IP之间使用","分隔。例如: 127.0.0.1或127.0.0.1,127.0.0.2,127.0.0.3。 填写单个IP，IP应为MRS集群管理面的浮动IP。 填写3个IP时，应填写MRS集群业务面的主节点IP、备节点IP和MRS集群管理面的浮动IP。
定影响。 数据集成CDM集群为单集群部署，集群故障可能会导致业务、数据损失。建议您使用数据开发作业CDM Job节点调用CDM作业，并选择两个CDM集群以提升可靠性。详情请参见CDM Job节点章节。 当所连接的数据源发生变化（如MRS集群扩容等情况）时，您需要重新编辑并保存该连接。
找到所需要的工作空间，单击工作空间的“数据开发”，系统跳转至数据开发页面。 在“作业开发”页面，新建数据开发作业，然后分别选择CDM节点和两个Dummy节点，选中连线图标并拖动，编排图1所示的作业。 其中CDM节点的失败策略需要设置为“继续执行下一节点”。 图2 配置CDM节点的失败策略
手动填写IP时请根据场景和顺序填写，多个IP之间使用","分隔。例如: 127.0.0.1或127.0.0.1,127.0.0.2,127.0.0.3。 填写单个IP，IP应为MRS集群管理面的浮动IP。 填写3个IP时，应填写MRS集群业务面的主节点IP、备节点IP和MRS集群管理面的浮动IP。
保存”。 表2 MySQL连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。
开启“公网入口”，创建集群时会为集群自动绑定一个新建的弹性公网IP，后续可以通过此公网IP地址调用专享版API。该功能新建的弹性公网IP不会计入收费项。 如果您存在需要本地调用或跨网调用API的使用场景，建议开启。如果在创建集群时未开启公网入口，后续则不再支持绑定EIP。 带宽大小 可配置公网带宽范围。 虚拟私有云
KERBEROS：安全模式选择Kerberos鉴权。 SIMPLE Hive版本 Hive的版本。 HIVE_3_X IP与主机名映射 如果Hadoop配置文件使用主机名，需要配置IP与主机的映射。格式：IP与主机名之间使用空格分隔，多对映射使用分号或回车换行分隔。 - OBS支持 需服务端支持OBS存
个文件，可以参考解析响应消息体中的流样例代码。响应是一个压缩文件，文件名为jobs.zip，解压后文件结构如下： jobs +---job_batch | dws_sql.script | job_batch.job \---job_stream job_stream
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
