6 bästa verktyg för loghantering för Linux år 2020

Med dagens system som genererar massor av loggdata är det inte förvånande att administratörer alltid letar efter logghanteringslösningar. Loggar lagras som standard ofta lokalt. Detta är meningsfullt eftersom det gör det enkelt att länka dem till deras källa. Men när vi försöker felsöka problem och hitta deras grundläggande orsak, måste vi ibland titta på flera loggfiler på många enheter. Skulle det inte vara trevligt om alla loggar från alla enheter lagrades på ett, centralt ställe? Detta är syftet med logghantering. Och om din plattform som du väljer är Linux finns det många alternativ tillgängliga. Läs vidare när vi upptäcker några av de bästa logghanteringarna för Linux

Vi börjar med att definiera logghantering. Du kommer att se att det kan vara mycket mer än bara att centralisera logglagring. Därefter diskuterar vi olika loggtekniker. De är hörnstenen i logghantering och det skulle troligtvis inte existera utan dem. Fortsatt kommer vi att skilja syslog-servrar från loghanteringssystem och inse att det inte finns någon tydlig avgränsning mellan dem. Därefter pausar vi kort och diskuterar

Säkerhetsinformation och evenemangshanteringssystem. Det är en annan typ av system som ofta förväxlas med logghantering, tack vare den något oklara definitionen av var och en. Och slutligen granskar vi den bästa logghanteringen för Linux.

Vad är logghantering?

Innan vi kan prata om logghantering, låt oss definiera vad en logg är. Enkelt definierat är en logg den automatiskt producerade och tidsstämplade dokumentationen av en händelse som är relevant för ett visst system. Med andra ord, varje gång en händelse äger rum i ett system genereras en logg. System och enheter genererar loggar för olika typer av händelser och många system ger administratörer en viss grad av kontroll över vilken händelse som genererar en logg och vilken inte.

När det gäller logghantering, hänvisar det helt enkelt till de processer och policyer som används för att administrera och underlätta generering, överföring, analys, lagring, arkivering och eventuell bortskaffande av stora volymer loggdata. Även om det inte klart anges innebär logghantering ett centraliserat system där loggar från flera källor samlas in. Logghantering är dock inte bara loggsamling. Det är ledningsdelen som är den viktigaste. Och logghanteringssystem har ofta flera funktioner, samla loggar är bara en av dem.

När loggar har tagits emot av logghanteringssystemet måste de standardiseras i ett gemensamt format eftersom olika system formaterar loggar på olika sätt och inkluderar olika data. Vissa startar en logg med datum och tid, andra startar med ett händelsnummer. Vissa inkluderar bara ett händelse-ID medan andra innehåller en fulltextbeskrivning av händelsen. Ett av syftena med logghanteringssystem är att se till att alla insamlade loggposter lagras i ett enhetligt format. Detta kommer händelsekorrelation och eventuell sökning mycket lättare längs linjen.

Även korrelation och sökning är ytterligare två huvudfunktioner i flera loghanteringssystem. Det bästa av dem har en kraftfull sökmotor som gör det möjligt för administratörer att nollställa exakt vad de behöver. Korrelationsfunktioner grupperar automatiskt relaterade händelser, även om de kommer från olika källor. Hur — och hur framgångsrikt — olika logghanteringssystem åstadkommer är en viktig differentierande faktor.

LÄS OCH:15 bästa nätverksövervakningsverktyg (vår egen recension)

Logging Technologies

Logghantering skulle vara mycket svårare, kanske inte ens möjligt, om det inte vore för loggningsprotokoll. Några av dem finns. De definierar vilka data som ska inkluderas i loggar, hur de ska formateras och ibland hur de ska överföras mellan system.

Syslog är utan tvekan det mest använda loggningsprotokollet, särskilt i Linuxvärlden. Tekniken uppfanns i början av åttiotalet och har blivit de facto-standarden för alla Unix-liknande system. En av de största tillgångarna i syslog-tekniken är hur den underlättar separationen mellan systemet eller programvara som genererar loggar, systemet som lagrar dem och programvaran som rapporterar och analyserar dem. Att använda Syslog-tekniken gör logghantering mycket enklare. Och Syslog är inte en Unix-exklusiv. Många enheter som inte är Unix, som switchar, routrar och alla typer av utrustning från många leverantörer använder en variant av syslog-protokollet.

Det finns andra loggningstekniker. Microsoft Windows använder till exempel ett annat loggningssystem. Det kan ha att göra med att Windows-operativsystem och applikationer har loggar som vanligtvis innehåller mer detaljerad information än Syslog-tekniken tillåter. Lyckligtvis ger Windows Event Collector-funktionerna ett medel för logghantering som olika system kan använda för att ta emot händelser från Windows-värdar. Det här inlägget handlar om Linux-logghantering så låt oss dock inte slösa för mycket tid på Windows.

Oavsett vilken loggteknik som används, är en viktig del av logghantering konfigurering av enheter för att skicka sina loggar till hanteringssystemet. Andra typer av verktyg som nätverksövervakningssystem kan hämta data från systemen som de övervakar men med logghantering måste varje enhet "berättas" vart de ska skicka sina loggar. Det är dock en relativt enkel uppgift som ofta utförs genom att utfärda ett enkelt kommando.

VIDARE LÄSNING:Bästa program för kartläggning och topologi för nätverksdiagram

Loggservrar eller logghantering?

Eftersom det har varit tillgängligt på alla Unix-liknande system - inklusive Linux - en god stund används Syslog ofta som en loggserver där en dator tar emot Syslog-data från flera andra. Medan denna centraliserade lagring av loggar har definitiva fördelar räcker det inte att kallas logghantering.

För att förtjäna Log Management System-namnet måste en produkt innehålla åtminstone några av de mer avancerade funktionerna. Enligt Wikipedia består logghantering av följande funktioner: loggsamling, centraliserad loggsamling, långsiktig logglagring och lagring, logrotation, logganalys, loggsökning och rapportering ”. Wow! Det är mycket funktionalitet. Loggservrar, å andra sidan, erbjuder ofta bara loggsamling och lagring och sällan mer än så.

Ett ord (eller två) om SIEM

En annan populär teknik som är associerad med loggar och ofta förväxlas med logghanteringssystem är Säkerhetsinformation och Event Management, eller SIEM. Detta skiljer sig från loghantering men ändå är det nära besläktat. Linjen är så tunn mellan dem att vissa produkter som annonseras som loghanteringssystem faktiskt är SIEM-system medan vissa grundläggande SIEM-system är inget annat än avancerade logghanteringssystem.

Förvirringen härrör från det faktum att logghantering - eller åtminstone logganalys - är en viktig komponent i SIEM-system. Det som skiljer SIEM-system är att de utför loganalys med det slutliga målet att identifiera säkerhetsproblem. De kommer till exempel att leta efter tecken på misslyckade inloggningar som kan vara ett berättande tecken på en obehörigt intrångsförsök. Dessa system skannar kontinuerligt loggposter letar efter något ovanligt. Vissa SIEM-system innehåller omfattande logghanteringsfunktioner, men vissa använder ett externt logghanteringssystem och det är inte ovanligt att se båda systemen som kör sida vid sida.

RELATERAD LÄSNING:Bästa IP-skannrar för Mac

Den bästa logghanteringen för Linux

Förhoppningsvis har vi nu en gemensam förståelse för vad logghantering är och vad det inte är. Så låt oss titta på vad som är tillgängligt för Linux. Men först ska vi klargöra något. När vi hänvisar till Linux-logghantering, menar vi logghanteringssystem som kan rymma Linux-loggar och som antingen kommer att köras på Linux-plattformen eller i molnet. Vissa av våra val - särskilt molnbaserade system - fungerar också med loggar från andra plattformar.

Solarwinds har blivit ett hushållsnamn bland nätverksadministratörer. Det gör några av de bästa verktygen i nästan 20 år, vilket ger oss fantastiska bandbreddövervakningsverktyg och ett av de bästa NetFlow-analysatorerna och samlarna. Företaget är också välkänt för att publicera flera gratisverktyg som tillgodoser vissa specifika behov hos nätverksadministratörer som subnätkalkylator eller en syslog-server.

• GRATIS PLAN: SolarWinds Papertrail
• Officiell nedladdningslänk: https://papertrailapp.com/plans

För inte så länge sedan, Solarwinds förvärvade Pappersspår, ett populärt logghanteringssystem. Det samlar loggfiler från en mängd populära produkter som Apache eller MySQL samt Ruby on Rails-appar, olika molntjänsttjänster och andra standard-syslog- och textbaserade loggfiler. Pappersspår användare kan sedan använda det webbaserade sökgränssnittet eller kommandoradsverktygen för att söka igenom dessa filer för att diagnostisera olika problem. Papertrail integreras också med andra SolarWinds-produkter, såsom Librato och Geckoboard för grafiska resultat.

Pappersspår är ett molnbaserat program som en tjänst (SaaS) från SolarWinds. Att vara molnbaserad innebär att det fungerar bra i en Linux-miljö. Plattformen är enkel att implementera, använda och förstå, och den kommer att ge dig direkt synlighet över alla system inom några minuter. Produkten har dessutom en mycket effektiv sökmotor som kan söka både lagrade och strömmande loggar. Och det blixtsnabbt.

Pappersspår finns tillgängligt under flera planer inklusive en gratis plan. Det är dock något begränsat och tillåter bara 100 MB loggar varje månad. Det kommer dock att tillåta 16 GB loggar under den första månaden vilket motsvarar ger dig en gratis 30-dagars rättegång. Betalda planer börjar på $ 7 / månad för 1 GB / månad loggar, 1 års arkiv och 1 vecka index. Brusfiltrering tillåter verktyget att bevara data genom att inte spara värdelösa loggar.

Loggly är en annan molnbaserad onlinetjänst. I första hand en loggkonsoliderare, den erbjuder också logganalysfunktionalitet. Som ett förtjänst av att vara molnbaserat kräver detta system ingen installation och är redo att använda den minut som du prenumererar. Naturligtvis måste dina system och enheter konfigureras för att ladda upp sina vanliga loggfiler regelbundet till online-servern.

• GRATIS PRÖVNING: Loggly planer
• Officiell länk: https://www.loggly.com

Loggly konverterar sedan den mottagna loggdata till ett standardformat, varigenom analysatorn kan behandla poster från olika källor och möjliggöra händelsespårning och korrelation mellan alla system, oavsett operativsystem eller loggning teknologi. Källorna till loggdata är inte begränsade till dina lokala servrar. Systemet kan naturligtvis behandla loggar genererade av onlineservrar, som Amazons AWS och det kan inkludera meddelanden som skapats av specifika applikationer som Docker och Logstash, bara för att namnge en få.

De Loggly tjänsten är tillgänglig under tre olika planer, med ökande databehandlingsgränser och lagringstider. Du måste välja rätt för att ge dig tillräckligt med utrymme för dina loggdata. Startnivåplanen kallas Loggly Lite. Det är gratis att använda. Enligt denna plan kan du ladda upp 200 MB loggdata per dag och systemet kommer att behålla varje post i sju dagar. Nästa är standardplanen som ger dig ett uppladdningsbidrag på 1 GB per dag och behåller poster i 30 dagar. Betalda planer låter dig också använda flera användarkonton. Med Standardpaketet kan du ha tre användarkonton. Den översta nivån kallas Loggly Företag. Det har ingen begränsning för antalet användarkonton du kan ställa in och priserna varierar beroende på mängden uppladdningskapacitet och den lagringsperiod du behöver. Betalning för alla betalade planer kan vara antingen månadsvis eller årligen och en gratis 14-dagars rättegång är tillgänglig på Standardplanen.

3. Splunk

Splunk är ett välkänt - inom systemadministrationsgemenskapen - omfattande logghanteringssystem för Linux, Mac OS och Windows. Mer än bara ett grundläggande logghanteringssystem anser vissa att det är ett fullständigt system för förebyggande av intrång. Produkten finns i tre versioner. På toppen är Splunk Enterprise vilket är mer ett nätverkshanteringssystem snarare än bara ett logghanteringsverktyg. Prissättningen börjar på $ 173 per månad och du får mycket funktionalitet.

Det finns också en gratisversion av Splunk vilket är i princip samma verktyg utan några av de mest avancerade funktionerna. I huvudsak är det begränsat till loggfilanalys. Du kan mata in någon av dina vanliga loggfiler eller skicka den direktdata via en fil till analysatorn. Gratisversionen har några begränsningar. Det kan till exempel bara ha ett användarkonto och dess dataflöde är begränsad till 500 MB loggar per dag. Datasorterings- och filtreringsfunktioner är inbyggd i Splunk, vilket underlättar dina felsökningsinsatser. Du kan använda dessa funktioner för att dela loggposter efter datum och skriva ut varje grupp till nya filer. I själva verket är denna funktionalitet mycket flexibel.

4. Nagios Log Server

Nagios är bäst känd för sin utmärkta nätverksövervakningsprogramvara men sin Log Server är lika intressant. Produkten kallas helt enkelt för Nagios Log Server och det erbjuder centraliserad logghantering, övervakning och analys. Detta verktyg kan förenkla processen att söka i dina loggdata kraftigt. Det låter dig också ställa in varningar som ska meddelas om potentiella hot. Dessutom har programvaran hög tillgänglighet och fail-over inbyggd direkt i den. Dessutom hjälper de enkla källinstallationsguiderna dig snabbt att konfigurera servrar för att skicka all loggdata och börja övervaka dina loggar på några minuter.

De Nagios Log Server möjliggör en enkel korrelation av logghändelser på alla servrar med bara några klick. Systemet låter dig visa loggdata i realtid, vilket ger dig möjlighet att analysera och lösa problem när de uppstår. Produkten har imponerande skalbarhet och den kommer att fortsätta att tillgodose dina behov när din organisation växer. Ytterligare Nagios Log Server instanser kan läggas till i ett övervakningskluster, så att du snabbt kan lägga till mer kraft, hastighet, lagring och tillförlitlighet.

Enkeltpriset för Nagios Log Server är 3 995 USD och även om en kostnadsfri testversion inte verkar vara tillgänglig är det en gratis online-demo om du föredrar att titta på produkten från första hand.

5. Graylog

Nästa på vår lista är en produkt som heter Graylog. Produkten erbjuder många intressanta funktioner. Verktyget kommer att analysera och berika loggar och händelsesdata från vilken datakälla som helst. Dess behandlingsrörledningar möjliggör viss flexibilitet när det gäller att dirigera, svartlista, ändra och berika meddelanden i realtid. Graylog kommer att söka igenom terabyte loggdata för att upptäcka och analysera viktig information. Den kraftfulla söksyntaxen låter dig hitta exakt vad du letar efter.

Med Graylog, kan du skapa instrumentpaneler för att visualisera mätvärden och observera trender på en central plats. Du kan använda fältstatistik, snabbvärden och diagram från sökresultatsidan för att dyka in för en djupare analys av dina data. Systemet har också möjlighet att utlösa handlingar eller utfärda aviseringar om händelser som misslyckade inloggningsförsök, undantag eller försämring av prestanda.

Graylog är ett gratis loggfilbaserat system med öppen källkod som kan ge dig mycket mer funktionalitet än bara ett arkiveringsverktyg. Denna logganalysator har ett grafiskt användargränssnitt och kan köras på Ubuntu, Debian, CentOS och SUSE Linux. Du kan också köra den på en virtuell maskin på Microsoft Windows och du kan installera Graylog-systemet på Amazon AWS.

6. Hantera Engine EventLog Analyzer

ManageEngine, ett annat vanligt namn bland nätverksadministratörer, gör ett utmärkt logghanteringssystem som kallas Hantera Engine EventLog Analyzer. Produkten samlar in, hanterar, analyserar, korrelerar och söker igenom loggdata från över 700 källor med hjälp av en kombination av agentfri och agentbaserad loggsamling samt logimport.

Hastighet är en av Hantera Engine EventLog AnalyzerStyrka. Den kan bearbeta loggdata med imponerande 25 000 loggar / sekund och upptäcka attacker i realtid. Den kan också utföra snabb kriminalteknisk analys för att minska effekterna av ett brott. Systemets granskningsfunktioner omfattar nätverksomkretsenheternas loggar, användaraktiviteter, serverkontoändringar, användaråtkomst och mer, vilket hjälper dig att uppfylla säkerhetsrevisionsbehoven.

De Hantera Engine EventLog Analyzer är tillgängligt i en funktionsreducerad gratisutgåva som endast stöder 5 loggkällor eller i en premiumutgåva som börjar på 595 $ och varierar beroende på antalet enheter och applikationer. En gratis, fullständig 30-dagars provversion är också tillgänglig.