云服务器内容精选

华为云首页用户手册

CIM数据汇聚管理软件部署

地图-算子服务

算子服务服务分布：表1 服务分布服务名服务器安装目录端口 data-wrangling 10.190.x.x 10.190.x.x /app/dt/data-wrangling 8085 安装算子服务修改配置文件application-dev.yml 修改stdms.callback.url中的ip和端口，配置为CIM数据汇聚管理平台的ip和端口当使用minio存储日志时，配置log.server.enable为true，并配置日志服务（data-log-manage）的ip和端口；当使用本地文件存储日志时，配置log.server.enable为false 当采用local模式运行时，data-wrangling-worker.cluster-mode配置为local；当采用集群模式运行时，data-wrangling-worker.cluster-mode配置为yarn，此时，需要将hadoop集群的core-site.xml、yarn-site.xml、hdfs-site.xml、mapred-site.xml等四个文件拷入config文件夹，同时，如果data-wrangling服务部署机器不在hadoop集群内的话，需要在部署机器上的/etc/hosts中配置集群服务器的ip和hostname ```yml# 服务端口server: port: 8085# spark任务提交模式data-wrangling-worker: cluster-mode: local# 任务执行完成，回调CIM数据汇聚管理平台接口stdms: callback: url: http://192.168.32.89:9090/stdms/feed-back/ch-task-status?objectId=%s&status=%d# 是否将日志发送到日志服务并存储到miniolog: service: enable: true url: http://127.0.0.1:8089/save``` 启动、停止启动：进入bin路径，执行 ```shell./start.sh``` 停止： Kill -9 进程号服务验证服务启动验证与版本信息查询将以下地址中的ip和端口修改为实际部署ip和端口，请求接口，查看版本信息请求地址：http://localhost:8085/about 请求方式：GET 服务功能验证任务提交验证：将以下地址中的ip和端口修改为实际部署ip和端口，配置正确的数据库连接信息，在数据库中创建user表，并填入任意测试数据，如下述案例表示查询本地mysql的demo库中的user表，并将user表中的数据同步到user1表。请求地址：http://localhost:8085/data-wrangling 请求方式：POST 请求参数体： ```json{ "taskId": "7fdbcc680a4f4e929bc72d89856b00d3", "taskName": "lz-test", "nodes": [ …… ], "lines": [ { "from": "1", "to": "2" } ]}``` 返回结果示例： ```json{ "success": true, "message": "提交spark任务成功", "content": { "taskId": "7fdbcc680a4f4e929bc72d89856b00d3", "taskName": "lz-test", "createTime": "2022-08-16 17:12:14", "level": "INFO", "applicationId": "local-1660641128001" }}``` 父主题： CIM数据汇聚管理软件部署

地图 CIM数据汇聚管理软件部署