家用住宅主机Linux ELK日志分析跨境访问记录
为什么家用主机能胜任跨境访问日志分析
很多个人站长或小团队想分析来自国外的访问记录,但又不想为专用服务器付费。
家用住宅主机(比如旧电脑、树莓派或低功耗小主机)跑Linux系统,完全可以承担ELK日志分析任务。
ELK 是 Elasticsearch(存储与搜索)、Logstash(采集与解析)、Kibana(可视化)的组合,对硬件要求不高,2核4G内存的机器就能流畅运行。
本文假设你手上的机器已经安装了 Ubuntu 20.04 或 CentOS 7 以上版本,已连接互联网,并拥有 sudo 权限。
前期准备:软件源与 Java 环境
ELK 依赖 Java 8 或 11(推荐 OpenJDK)。
先更新系统并安装 Java:
# Ubuntu/Debian 系统
sudo apt update && sudo apt install -y openjdk-11-jdk
# CentOS/RHEL 系统
sudo yum install -y java-11-openjdk
安装完成后用 java -version 确认版本。
接着导入 Elastic 官方 GPG 密钥并添加软件源(以 Ubuntu 为例):
wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee /etc/apt/sources.list.d/elastic-7.x.list
sudo apt update
注意:如果你用 CentOS,请将相应 repo 文件放入 /etc/yum.repos.d/。版本号建议锁定 7.x 系列(当前稳定版 7.17),避免出现不兼容问题。
分步安装 Elasticsearch、Logstash 与 Kibana
安装 Elasticsearch
sudo apt install -y elasticsearch
安装后编辑主配置文件 /etc/elasticsearch/elasticsearch.yml,修改以下两行:
network.host: 127.0.0.1
http.port: 9200
然后启动并设为开机自启:
sudo systemctl start elasticsearch
sudo systemctl enable elasticsearch
用 curl http://127.0.0.1:9200 检查是否返回节点信息。
安装 Logstash
sudo apt install -y logstash
暂时不急启动,先配置采集规则(见下一节)。
安装 Kibana
sudo apt install -y kibana
编辑 /etc/kibana/kibana.yml,修改:
server.host: "0.0.0.0" # 允许局域网其他设备访问
elasticsearch.hosts: ["http://127.0.0.1:9200"]
启动 Kibana:
sudo systemctl start kibana
sudo systemctl enable kibana
此时通过浏览器访问 http://你家主机IP:5601 应看到 Kibana 界面。
配置 Logstash 采集和解析跨境访问日志
假设你的跨境访问日志来自 Nginx 或 Apache 的 access.log。
创建 Logstash 配置文件 /etc/logstash/conf.d/cross-border.conf:
input {
file {
path => "/var/log/nginx/access.log" # 根据实际路径修改
start_position => "beginning"
sincedb_path => "/dev/null"
}
}
filter {
grok {
match => { "message" => "%{COMBINEDAPACHELOG}" }
}
geoip {
source => "clientip"
target => "geoip"
}
}
output {
elasticsearch {
hosts => ["127.0.0.1:9200"]
index => "access-cross-border-%{+YYYY.MM.dd}"
}
stdout { codec => rubydebug } # 调试时可打开
}
这里用 grok 插件解析通用日志格式,再用 geoip 插件根据 IP 获取地理位置,后续就能按国家或地区筛选跨境请求。注意:你需要提前下载 GeoIP 数据库(Elastic 自带免费版,但只保留城市级数据;
若需更精确,可自行购买)。
启动 Logstash:
sudo systemctl start logstash
sudo systemctl enable logstash
用 journalctl -u logstash -f 观察日志是否正常。
如果配置文件有误,Logstash 会直接退出,检查语法可用 /usr/share/logstash/bin/logstash -t -f /etc/logstash/conf.d/cross-border.conf。
在 Kibana 中创建跨境访问可视化
- 打开 Kibana,进入 Stack Management → Index Patterns,创建索引模式
access-cross-border-*,时间字段选@timestamp。 - 进入 Visualize Library,新建一个 Coordinate Map(坐标地图),选择刚创建的索引模式。
- 配置 Metrics 为
Count,Buckets 为GeoHash grid,聚合字段选geoip.location。 - 保存并添加到 Dashboard。
此时你可以看到一张世界地图,上面分布着来自世界各地的访问点——跨境访问记录一目了然。
避坑指南与常见问题
- 内存不足:家用主机通常只有 4GB 内存,建议调整 Elasticsearch 堆内存:编辑
/etc/elasticsearch/jvm.options,将-Xms1g和-Xmx1g改为512m(视内存情况而定)。 - 日志权限:Logstash 默认以
logstash用户运行,可能读不到 /var/log/nginx 下的日志。将日志文件权限改为 644 或把 Logstash 用户加入 adm 组。 - GeoIP 数据过时:免费版 GeoIP 数据库每月更新一次,可定期从 Elastic 官网获取最新版。
- 跨境访问量少:先用
tail -f /var/log/nginx/access.log确认确有境外 IP 访问,再排查 Logstash 是否成功消费了日志。 - Kibana 公网访问安全:建议用 Nginx 反向代理并加密码保护,或仅绑定内网 IP。
效果验证
等待一段时间后,在 Kibana Dashboard 上查看地图是否出现境外访问点。
你也可以用 Discover 页面搜索 geoip.country_iso_code : CN (排除中国)来单独查看跨境请求的数量和来源。
如果地图上出现了预期中的国家标记,说明整套 ELK 跨境访问分析已经跑通。