检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。 基础与网络连通配置 IP或域名 是 关系型数据库数据源的访问地址，可填写为IP或域名。 “IP或域名”如果手动填写，必须写内网IP，端口必须为对资源组网段放开的端口（如需设置请参见设置安全组规则），否则可能导致网络连接不通。
配置作业调度为年调度 场景描述 在配置作业配置调度时，可以选择一年中的某个时间进行调度。如果您需要配置作业的调度时间为年调度，请参考下面的方法进行配置。 配置方法 在DataArts Studio中配置一个按月调度执行的作业，然后在作业里面新增一个Dummy节点（空节点，不处理实
考调用API示例调用API。 准备环境 已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息，具体参见认证前准备。 安装openssl库。 apt-get install libssl-dev 安装curl库。 apt-get install libcurl4-openssl-dev
修改主机信息”，按照输入框提示的格式填写MRS集群所有节点的IP和域名。 图4 修改主机信息 查看MRS集群节点IP和域名的方式： 打开MRS页面，进入用户的MRS集群，单击“节点管理”页签，展开所有节点组，可以看到各节点IP、节点名称即是域名。 须添加所有节点IP（图中序号1）、域名信息（图中序号2），用回车分割。
准备环境 已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息，具体参见认证前准备。 获取并安装Python安装包（可使用2.7.9+或3.X），如果未安装，请至Python官方下载页面下载。 Python安装完成后，在命令行中使用pip安装“requests”库。
配置输出处理算子 输出处理算子负责对API工作流的执行结果进行错误码映射、结果集映射和格式转换，以确定最终返回的数据格式。 表1 输出处理算子 参数 是否必选 说明 错误码映射 否 针对数据服务返回的错误码，支持映射为自定义信息。 例如，将“DLM.0”错误码映射为“OK”。 结果集映射
配置API调用流控策略 操作场景 DataArts Studio数据服务的API流量控制基于指定规则对API的访问流量进行调节控制的限流策略，能够提供多种维度的后端服务保护功能。当前API流控支持通过用户、应用和时间段等不同维度限制API的调用次数。 为了提供持续稳定的服务，您需
字段转换器配置指导 操作场景 作业参数配置完成后，将进行字段映射的配置，您可以单击操作列下创建字段转换器。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 在创
字段转换器配置指导 操作场景 作业参数配置完成后，将进行字段映射的配置，您可以单击操作列下创建字段转换器。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 在创
可选参数，单击“显示高级属性”后显示。 自定义连接属性，单击“添加”可增加多个属性。 只支持配置connectionTimeout，socketTimeout和idleConnectionTime。 常见配置举例如下： socketTimeout: Socket层传输数据的超时时间，单位为毫秒。
修改主机信息”，按照输入框提示的格式填写MRS集群所有节点的IP和域名。 图8 修改主机信息 查看MRS集群节点IP和域名的方式： 打开MRS页面，进入用户的MRS集群，单击“节点管理”页签，展开所有节点组，可以看到各节点IP、节点名称即是域名。 须添加所有节点IP（图中序号1）、域名信息（图中序号2），用回车分割。
修改主机信息”，按照输入框提示的格式填写MRS集群所有节点的IP和域名。 图8 修改主机信息 查看MRS集群节点IP和域名的方式： 打开MRS页面，进入用户的MRS集群，单击“节点管理”页签，展开所有节点组，可以看到各节点IP、节点名称即是域名。 须添加所有节点IP（图中序号1）、域名信息（图中序号2），用回车分割。
字段转换器配置指导 操作场景 作业参数配置完成后，将进行字段映射的配置，您可以单击操作列下创建字段转换器。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 在创
MRS资源队列 否 选择已创建好的MRS资源队列。 说明： 您需要先在数据安全服务队列权限功能中，配置对应的队列后，才能在此处选择到已配置的队列。当有多处同时配置了资源队列时，此处配置的资源队列为最高优先级。 Spark作业名称 是 MRS作业名称，只能由英文字母、数字、中划线和下划线组成，长度不能超过64个字符。
Spark、MRS Spark、MRS MapReduce和DLI Flink Job。 创建资源后，配置资源关联的文件。在作业中可以直接引用资源。当资源文件变更，只需要修改资源引用的位置即可，不需要修改作业配置。关于资源的使用样例请参见开发一个DLI Spark作业。 约束限制 该功能依赖于OBS服务或MRS
配置CDM作业字段映射 操作场景 作业参数配置完成后，将进行字段映射的配置，您可以通过字段映射界面的可自定义新增字段，也可单击操作列下创建字段转换器。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。
开发调度即可，无需配置CDM定时任务。 定时任务功能原理：采用Java Quartz定时器，类似Cron表达式配置。对起始时间解析出分，小时，天，月。构造出cronb表达式。 以配置天调度为例：重复周期选择1天：若当前时间2022/10/14 12:00，配置起始时间为2022/10/14
查询不合理的权限配置 功能介绍 查询不合理的权限配置。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/security/diagnose/unreasonable-permissions 表1 路径参数 参数 是否必选 参数类型 描述 project_id
修改主机信息”，按照输入框提示的格式填写MRS集群所有节点的IP和域名。 图8 修改主机信息 查看MRS集群节点IP和域名的方式： 打开MRS页面，进入用户的MRS集群，单击“节点管理”页签，展开所有节点组，可以看到各节点IP、节点名称即是域名。 须添加所有节点IP（图中序号1）、域名信息（图中序号2），用回车分割。
stats名称，值为true，如图3所示。 图3 新增自定义参数 自定义参数配置完成后，单击左上角的“保存”，在弹窗中单击“确定”保存配置。 图4 保存配置 保存成功后，切换到实例页签，选择配置已过期的实例后，单击“更多 > 滚动重启实例”，使配置生效。 图5 滚动重启实例 父主题： 采集数据源的元数据
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
