NGINX请求日志分析看板 20241024 StarsL.cn

基于 ClickHouse + Vector 的NGINX请求日志分析看板。包括请求与耗时分析、异常请求分析、用户分析、地理位置分布图、指定接口分析、请求日志明细。https://grafana.com/orgs/starsliao/dashboards

NGINX请求日志分析看板 20241024 StarsL.cn screenshot 1
NGINX请求日志分析看板 20241024 StarsL.cn screenshot 2
NGINX请求日志分析看板 20241024 StarsL.cn screenshot 3
NGINX请求日志分析看板 20241024 StarsL.cn screenshot 4
NGINX请求日志分析看板 20241024 StarsL.cn screenshot 5
NGINX请求日志分析看板 20241024 StarsL.cn screenshot 6

为什么要做NGINX日志分析看板

Grafana官网的dashboards有NGINX日志采集到ES数据源的展示看板,也有采集到LOKI数据源的展示看板,唯独没有采集到ClickHouse数据源的展示看板。所以这个轮子是必须要造的。

为什么不使用ES存储

ElasticSearch是全文检索引擎的文档数据库,对于业务日志、异常日志、多行日志这类,非结构化、半结构化的日志数据,经常需要做关键字查询,模糊匹配等操作,非常适合使用es,使用倒排索引实现快速全文搜索。

ClickHouse是一个列式存储数据库,尤其擅长处理结构化的大规模的SQL查询和聚合分析操作,所以针对NGINX这类结构化的请求日志,在处理多维分析、聚合查询、分组统计等操作速度极快,并且压缩比极高,存储成本比ES低10倍,CPU、内存的占用也有巨大优势。

Grafana请求日志分析看板预览

该看板是基于 ClickHouse + Vector 的NGINX请求日志分析看板。包括请求与耗时分析、异常请求分析、用户分析、地理位置分布图、指定接口分析、请求日志明细。

尤其在异常请求分析方面,总结多年异常请求分析经验,从各个角度设计大量异常请求的分析图表。


本看板的NGINX日志配置,Vector与CH的部署配置详细说明,以及云原生K8S日志采集最佳实践,请 点击查看公众号合集


Revisions
RevisionDescriptionCreated

Get this dashboard

Import the dashboard template

or

Download JSON

Datasource
Dependencies