云搜索服务 CSS-使用Logstash迁移数据:步骤3：配置迁移任务
下载云搜索服务 CSS用户手册完整版
步骤3：配置迁移任务
在Logstash集群配置Elasticsearch集群的迁移任务。
- 在Logstash集群管理页面，选择已创建的“Sample-Logstash”集群，进入集群基本信息页面。
- 单击右侧“配置中心”，进入Logstash配置中心界面。
图6 Logstash配置中心界面
- 在配置中心界面，单击右上角“创建”，进入创建配置文件页面，编辑配置文件。
图7 配置任务
表5 创建配置文件参数说明 参数
说明
取值样例
名称
自定义配置文件名称。
只能包含字母、数字、中划线或下划线，且必须以字母开头。必须大于等于4个字符。
es-es
配置文件内容
展开上方“系统模板”，选择“elasticsearch”，单击操作列的“应用”，在配置文件内容中，基于模板注释填写配置项。
关键配置项请参见表6，其他配置项保持默认值。
隐藏内容列表
配置隐藏字符串列表后，在返回的配置内容中，会将所有在列表中的字串隐藏为“***”。
输入需要隐藏的敏感字串列表，按“Enter”创建。
列表最大支持20条，单个字串最大长度512字节。
不涉及
表6 配置项说明 配置
说明
取值样例
hosts
分别在input和output中填写源Elasticsearch集群和目标Elasticsearch集群的访问地址。获取方式请参见步骤1：获取Elasticsearch集群信息。
input hosts：http://10.62.179.32:9200
output hosts：http://10.62.179.33:9200
user
访问Elasticsearch集群的用户名。仅安全集群涉及，如果是非安全集群则此项使用“#”注释掉。
使用“#”注释掉
password
访问Elasticsearch集群的密码。仅安全集群涉及，如果是非安全集群则此项使用“#”注释掉。
使用“#”注释掉
index
需要迁移的索引信息，可以使用通配符设置。
index*
- 编辑完成后，单击“下一页”配置Logstash管道参数。
图8 配置管道参数
表7 管道参数说明 参数
说明
取值样例
pipeline.workers
并行执行管道的Filters和Outputs阶段的工作线程数。
4
pipeline.batch.size
单个工作线程在尝试执行其Filters和Outputs之前将从inputs收集的最大事件数，该值较大通常更有效，但会增加内存开销。
125
pipeline.batch.delay
管道事件批处理参数，以指定在将规模较小的事件批次调度至管道工作线程之前，对每个事件的等待时长。
50
query.type
用于事件缓冲的内部队列模型。
- “memory”为基于内存的传统队列。
- “persisted”为基于磁盘的ACKed持久化队列。
memory
- 配置完成后，单击“创建”，系统会自动进行配置文件校验，等待配置文件状态为“可用”，表示创建成功。
图9 配置文件校验
