采集任务-华为云

MAPREDUCE服务 MRS-使用Flume服务端从Kafka采集日志保存到HDFS:操作场景

操作场景该任务指导用户使用Flume服务端从Kafka的Topic列表(test1)采集日志保存到HDFS上“/flume/test”目录下。本章节适用于 MRS 3.x及之后版本。本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。该配置为只用一个Flume场景，例如：Kafka Source+Memory Channel+HDFS Sink.

MAPREDUCE服务 MRS 配置Flume非加密传输数据采集任务

MAPREDUCE服务 MRS-使用多级agent串联从本地采集静态日志保存到HBase:操作场景

操作场景该任务指导用户使用Flume客户端从本地采集静态日志保存到HBase表：flume_test。该场景介绍的是多级agent串联操作。本配置默认集群网络环境是安全的，数据传输过程不需要启用SSL认证。如需使用加密方式，请参考配置Flume加密传输数据采集任务。该配置可以只用一个Flume场景，例如Server：Spooldir Source+File Channel+HBase Sink。

MAPREDUCE服务 MRS 配置Flume非加密传输数据采集任务

应用运维管理 AOM-概述

概述 Prometheus 监控对常用的基础设施、中间件、自定义组件等进行了集成，通过创建采集任务执行插件脚本，就可以对相应的组件进行监控，结合应用运维管理平台和开源 Grafana 可以提供一站式全方位的监控体系，帮助业务快速发现和定位问题，减轻故障给业务带来的影响。已接入的组件会显示在采集任务页面，可以配仪表盘、告警规则。采集任务主要有两类，分别为中间件采集任务和自定义采集任务。中间件采集任务：使用中间件插件创建的采集任务。用于中间件指标的采集，例如MySQL、Redis、MongoDB、Nginx、Node、HAProxy等。自定义采集任务：使用自定义插件创建的采集任务。父主题：采集任务

应用运维管理 AOM 采集任务

数据治理中心 DataArts Studio-编辑采集任务:请求示例

请求示例 { "id" : null, "data_source_type" : " DLI ", "description" : "", "name" : "test采集110", "user_id" : "0833a573fe80d5401f6dc010a775569a", "dir_id" : "0", "task_config" : { "data_connection_name" : "dli_test", "data_connection_id" : "14bb947454e64de784eadaab759081e8", "databaseName" : [ "ygy1" ], "tableName" : [ "ygy1.ygy" ], "alive_object_policy" : "3", "deleted_object_policy" : "3", "enableDataProfile" : false, "enableDataClassification" : false, "enable_table_filter_by_regex" : false }, "schedule_config" : { "schedule_type" : "RUN_ONCE", "max_time_out" : 10 }}

数据治理中心 DataArts Studio 元数据采集任务接口

数据治理中心 DataArts Studio-编辑采集任务:响应参数

响应参数状态码： 400 表6 响应Body参数参数参数类型描述 error_code String 错误码 error_msg String 错误描述状态码： 401 表7 响应Body参数参数参数类型描述 error_code String 错误码 error_msg String 错误描述状态码： 403 表8 响应Body参数参数参数类型描述 error_code String 错误码 error_msg String 错误描述状态码： 404 表9 响应Body参数参数参数类型描述 error_code String 错误码 error_msg String 错误描述

数据治理中心 DataArts Studio 元数据采集任务接口

数据治理中心 DataArts Studio-编辑采集任务:请求参数

请求参数表2 请求Header参数参数是否必选参数类型描述 X-Auth-Token 是 String IAM Token workspace 是 String DataArts Studio 工作空间ID 表3 请求Body参数参数是否必选参数类型描述 id 否 String 任务id name 是 String 任务名称 description 否 String 任务描述 user_id 是 String 用户id create_time 否 String 创建时间 project_id 否 String 产品id dir_id 是 String 目录id schedule_config 是 SchedulerInfo object 调度信息 parameter_config 否 Array of CustomMetadata objects 自定义元数据信息 update_time 否 String 修改时间 user_name 否 String 用户名 path 否 String 路径 last_run_time 否 String 最后一次执行时间 start_time 否 String 开始时间 end_time 否 String 结束时间 next_run_time 否 String 下一次执行时间 duty_person 否 String 责任人 update_type 否 String 修改类型 data_source_type 是 String 数据来源类型 task_config 是 Object 任务信息Map(String, Object) data_source_workspace_id 否 String 数据来源工作空间id 表4 SchedulerInfo 参数是否必选参数类型描述 cron_expression 否 String 表达式 end_time 否 String 结束时间 max_time_out 否 Integer 最大超时时间 interval 否 String 间隔 schedule_type 否 String 调度类型 start_time 否 String 开始时间 job_id 否 Integer 工作id enabled 否 Integer 启用表5 CustomMetadata 参数是否必选参数类型描述 description 否 String 描述 type 否 String 类型 task_id 否 String 任务id

数据治理中心 DataArts Studio 元数据采集任务接口

应用运维管理 AOM-创建采集任务:操作步骤

操作步骤登录 AOM 2.0控制台。在菜单栏选择“采集管理”，进入“采集管理”界面。在左侧导航栏中，选择“采集任务”，单击“新增采集任务”。在新增采集任务页面中，配置相关参数信息。表1 采集任务参数配置表操作参数说明运行实例 Prometheus实例用于存储采集数据。采集任务通过关联Prometheus实例，对采集数据进行标记分类。插件配置操作系统主机的操作系统，支持Linux和Windows。采集插件单击“添加采集插件”按钮，选择中间件插件或已创建的自定义插件。说明：当操作系统为Linux时，选择中间件插件或自定义插件。当操作系统为Windows时，只能选择自定义插件。插件版本选择插件的版本。说明：未上线的插件版本，则置灰，无法选择。主机单击“添加主机”，选择主机。添加主机有两种方式指定主机和按CMDB。指定主机：选择已接入的主机。在指定主机页面，可通过主机名称、IP地址和Agent状态搜索选择主机。在指定主机页面，可通过右上角，取消已勾选的主机。选择的主机必须是UniAgent状态为运行中的主机，否则创建的采集任务无法采集数据。按CMDB：选择应用资源管理（简称CMDB）环境下的主机。在按CMDB添加主机页面，可通过主机名称、ID、主机IP、弹性公网IP和状态搜索主机。在按CMDB添加主机页面，勾选“应用到所有”前的，可以选择当前环境中所有主机。在按CMDB添加主机页面，可通过右上角，取消已勾选的主机。选择的主机必须是UniAgent状态为运行中的主机，否则创建的采集任务无法采集数据。说明：当采集插件为自定义插件时，可选择多个主机；当采集插件为中间件插件时，只能选择一个主机。 Exporter地址/REDIS_Exporter地址/MySQL_Exporter地址安装Exporter/REDIS_Exporter/MySQL_Exporter的主机IP地址和端口号。格式为IP:Port，例如：127.0.0.1:9104。当“采集插件”选择“中间件”时，需要填写此项。中间件地址/REDIS 地址/MySQL 地址 Exporter/REDIS_Exporter/MySQL_Exporter启动实例监控的主机/REDIS/MySQL，通常填写主机/MySQL/REDIS的IP地址。当“采集插件”选择“中间件”时，需要填写此项。指标待采集的指标。默认为：''（单引号）表示输出原本的所有指标。如果需对采集指标进行过滤，则按如下格式进行填写，例如：'metric1, metric2'。当“采集插件”选择“中间件”时，需要填写此项。标签新增采集指标维度。输入标签值和标签名，单击“添加标签”，字符长度不超过20个字符。最多可添加10个标签。例如：标签值为label1，标签名为label2，则添加成功后为label1:'label2'。当“采集插件”选择“中间件”时，需要填写此项。插件采集任务采集任务名采集任务的名称。不能超过50个字符。高级设置包括采集周期和超时时间。采集周期：采集数据的周期，单位为秒（s），默认为60s，可选择10s、30s和60s。超时时间：执行采集任务的时间，单位为秒（s），默认为60s，可选择10s、30s和60s。说明：超时时间必须小于等于采集周期。执行用户：执行采集任务的用户，即所选主机的用户，默认为nobody。您可以根据主机用户，填写执行采集任务的用户，推荐填写nobody。完成后，单击“立即创建”。

应用运维管理 AOM 采集任务

云服务器内容精选

采集任务

7*24

备案

专业服务

退订

建议反馈

售前咨询热线