ELK日志分析海外访客访问行为记录

知识分享

2026-07-14 02:00

23 阅读

为什么需要用ELK分析海外访客

网站上线后，你想知道有多少海外用户访问？
他们来自哪个国家、使用什么设备？
传统看Acess.log效率太低，ELK（Elasticsearch + Logstash + Kibana）能帮你把日志变成图表，一眼看到海外访客的访问热点。
本文适合刚接触ELK的读者，全程操作可照搬。

环境准备：你需要什么

一台Linux服务器（CentOS 7/8 或 Ubuntu 20.04+，2核4G内存起步，海外访客多时建议8G）。
已经运行的Nginx或Apache网站（日志格式默认combined）。
开放服务器安全组的9200（ES通信）和5601（Kibana Web）端口。
下载ELK全家桶的最新稳定版（如7.17.x），注意版本号必须一致，避免兼容问题。

分步操作：采集、解析到展示

1. 安装Elasticsearch

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.17.0-linux-x86_64.tar.gz
tar -zxvf elasticsearch-7.17.0-linux-x86_64.tar.gz
cd elasticsearch-7.17.0
# 修改配置，允许外网访问（生产环境需加固）
echo "network.host: 0.0.0.0" >> config/elasticsearch.yml
# 启动（非root用户）
useradd elsearch && chown -R elsearch:elsearch .
su elsearch -c "./bin/elasticsearch -d"

验证：curl http://localhost:9200 返回JSON即成功。

2. 安装Logstash（用于加工日志）

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.17.0-linux-x86_64.tar.gz
tar -zxvf logstash-7.17.0-linux-x86_64.tar.gz

新建配置文件/usr/local/logstash-7.17.0/config/nginx.conf：

input {
    beats {
        port => 5044
    }
}
filter {
    grok {
        match => { "message" => "%{COMBINEDAPACHELOG}" }
    }
    geoip {
        source => "clientip"
        target => "geoip"
    }
}
output {
    elasticsearch {
        hosts => ["localhost:9200"]
        index => "nginx-access-%{+YYYY.MM.dd}"
    }
}

启动Logstash：./bin/logstash -f config/nginx.conf

3. 安装Filebeat（轻量日志采集器）

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.17.0-linux-x86_64.tar.gz
tar -zxvf filebeat-7.17.0-linux-x86_64.tar.gz

修改filebeat.yml：

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/access.log
output.logstash:
  hosts: ["localhost:5044"]

启动Filebeat：./filebeat -e -c filebeat.yml

4. 安装Kibana并创建可视化

wget https://artifacts.elastic.co/downloads/kibana/kibana-7.17.0-linux-x86_64.tar.gz
tar -zxvf kibana-7.17.0-linux-x86_64.tar.gz

修改config/kibana.yml，设置server.host: "0.0.0.0"，启动：./bin/kibana。

浏览器访问 http://你的服务器IP:5601，进入Management → Kibana Index Patterns，创建nginx-access-*索引。

在Visualize Library中新建“Coordinate Map”，选择geoip.location字段，即可看到全球访客分布热力图。

避坑指南：新手最容易卡住的地方

内存不足：ELK占用内存大，特别是ES。建议ES启动时设置-Xms2g -Xmx2g（修改config/jvm.options）。如果服务器只有4G内存，考虑只保留Nginx日志每天滚动。
GeoIP数据为空：Logstash默认使用内置库，但某些IP无法解析。可以下载更新版GeoLite2-City.mmdb并配置geoip { database => "/path/to/GeoLite2-City.mmdb" }。
时区错乱：Nginx日志默认UTC，显示到Kibana可能差8小时。在Logstash filter中加ruby { code => "event.set('timestamp', event.get('@timestamp').time.localtime)" }。
索引生命周期：日志每天1GB以上时，务必配置Index Lifecycle Management（ILM），防止磁盘写爆。

效果验证与延伸查询

打开Kibana → Discover，搜索geoip.country_name : *，就能筛选出所有海外请求。
再配合geoip.city_name、user_agent等字段，可以分析每个国家的访问量排行、移动端占比、访问页面Top10。

如果你还想进一步优化——比如区分正常用户和爬虫、屏蔽异常IP，可以结合Elastic Security模块或自定义脚本。
遇到问题先看Logstash日志logs/logstash-plain.log，里面记录了绝大部分解析错误。

按本文步骤执行，你就能把ELK变成一个专门监控海外访客的小雷达。

Prometheus+Grafana监控大屏查看中转流量

Redis集群缓存外贸站点提速百倍