云服务器内容精选

华为云首页用户手册

使用JobGateway

MAPREDUCE服务 MRS-JobGateway常见参数:参数说明

参数说明表1 JobGateway参数说明参数参数说明默认值 HTTP_INSTANCE_PORT JobServer服务http端口。默认值：29973 取值范围：29970~29979 HTTPS_INSTANCE_PORT JobServer服务https端口。默认值：29972 取值范围：29970~29979 JAVA_OPTS 用于JVM的gc参数。需确保GC_OPT设置正确，否则进程启动会失败。见页面默认配置。 job.record.batch.delete.count 25 JobServer每一批老化数据的条数。 job.record.expire.count 500000 JobServer老化数据的条数。 job.record.expire.day 7 JobServer作业过期的时间。 logging.level.org.apache.tomcat JobServer服务端tomcat日志的日志级别。默认值：INFO 取值范围：DEBUG、INFO、WARN、ERROR、FATAL root.level JobServer服务端日志的日志级别。默认值：INFO 取值范围：DEBUG、INFO、WARN、ERROR、FATAL NGINX_PORT JobBalancer服务通信端口。默认值：https默认端口29970 http默认端口29971 取值范围：29970~29979 client_body_buffer_size 设置读取客户端请求正文的缓冲区大小。如果请求主体大于缓冲区，则将整个主体或仅将其部分写入临时文件。默认值：10240 取值范围：大于0 client_body_timeout 定义读取客户端请求正文的超时时间。超时仅针对两次连续读取操作之间的一段时间设置，而不是针对整个请求主体的传输。如果客户端在此时间内未传输任何内容，则请求将终止并出现408（请求超时）错误。单位：秒。默认值：60 取值范围：[1,86400] client_header_buffer_size 设置读取客户端请求标头的缓冲区大小。对于大多数请求，1K字节的缓冲区就足够了。但是，如果请求包含长cookie，或者来自WAP客户端，则它可能不适合1K。如果请求行或请求头字段不适合此缓冲区，则分配由large_client_header_buffers指令配置的更大缓冲区。默认值：1024 取值范围：大于0 client_header_timeout 定义读取客户端请求标头的超时时间。如果客户端没有在这段时间内传输整个标头，请求将终止并出现408（请求超时）错误。默认值：60 取值范围：[1,86400] client_max_body_size http请求体最大值，单位mb。默认值：80 取值范围：1~10240 keepalive_requests 设置可以通过一个保持活动连接提供服务的最大请求数。在发出最大请求数后，连接将关闭。定期关闭连接对于释放每个连接的内存分配是必要的。因此，使用过高的最大请求数可能会导致过多的内存使用，因此不推荐使用。默认值：1000 取值范围：[1,100000] keepalive_time 限制可以通过一个保持活动连接处理请求的最长时间。达到此时间后，将在后续请求处理后关闭连接。单位：秒。默认值：3600 取值范围：[1,86400] keepalive_timeout 设置一个超时时间，在此期间保持活动的客户端连接将在服务器端保持打开状态。零值禁用保持活动的客户端连接。单位：秒。默认值：75 取值范围：[0,86400] large_client_header_buffers.size 设置用于读取大型客户端请求标头的缓冲区的最大数量(large_client_header_buffers.number)和大小。一个请求行不能超过一个缓冲区的大小，否则会向客户端返回414（Request-URI Too Large）错误。请求头字段也不能超过一个缓冲区的大小，否则返回400（Bad Request）错误给客户端。缓冲区仅按需分配。如果在请求处理结束后连接转换为保持活动状态，则释放这些缓冲区。默认值：4096 取值范围：大于0 lb_limit_req_burst 当大量请求过来时，超过访问频次限制的请求将会放到缓冲区，超过缓冲区大小的请求会返回503错误。默认值：50 取值范围：1~1000 lb_limit_zone_rate http请求表示允许相同标识的客户端的访问频次，单位r/s、r/m。例如：30r/s，表示允许每秒访问30次。默认值：30r/s 取值范围：1-100r/s或1-6000r/m lb_limit_zone_size http内存缓冲区的大小，单位mb。默认值：20 取值范围：1~10240 lb_req_timeout Nginx读写的超时时间。默认值：60s 取值范围：1~3600s proxy_connect_timeout 定义与代理服务器建立tcp连接的超时时间。使用数字和单位组合，m表示分钟，s表示秒。默认值：3m 取值范围：1-60m或1-3600s proxy_timeout 与代理服务器的tcp连接上两次连续读取或写入操作之间的超时。如果在此时间内没有数据传输，则连接关闭。使用数字和单位组合，m表示分钟，s表示秒。默认值：3m 取值范围：1-60m或1-3600s

MAPREDUCE服务 MRS 使用JobGateway
MAPREDUCE服务 MRS-从零开始使用JobGateway:背景信息

背景信息例如某用户作业提交较多，流程耗时、繁琐、复杂，使用组件客户端完成作业提交效率低下。不想使用大数据组件客户端提交大数据作业，可以安装JobGateway组件，使用JobGateway服务完成作业的提交；只需要构建基于rest风格的http/https的url即可完成作业提交。以Hive作业提交为例，示例如下： curl --location --request POST 'https://{host}:{port}/mrsjob/submit?user.name={username}' --header 'JobServerAuthorization: {AuthorizationInfo}' --header 'Content-Type: application/json' --data-raw '{ "job_name":"{job-name}", "job_type":"HiveSql", "arguments":["SHOW TABLES"] }' 返回值： { "id": null, "state": "COMPLETE", "errorCode": 0, "errorCodeDescription": null, "errorDescription": null, "failedNodeList": null, "totalProgress": "0", "job_id": "466710d2-b1ff-4a98-805b-4675292e5cc8" }

MAPREDUCE服务 MRS 使用JobGateway