Loghantering bästa metoder och system

Hantering av loggar kan vara en komplex strävan. En typisk organisation genererar inte bara massor av dem, utan kommer från en mängd olika källor, var och en med ett potentiellt olika format och som innehåller olika information. För att sätta en uppenbarelse av ordning i något som snabbt kan bli kaotiskt, uppfanns logghantering. Idag tittar vi på bästa metoder och system för loghantering. Vi hoppas att det kommer att hjälpa dig att se tydligt genom detta.

Vi börjar med en kort beskrivning av logghantering. Då kommer vi att dyka rätt in i de bästa metoderna för loghantering. Vi undersöker om du ska använda ett färdigt system eller göra det själv. Vi kommer också att titta på vad - och vad inte - för att övervaka, följt av loggsäkerhet och lagring samt lagringsöverväganden. Och innan vi granskar några av de bästa loghanteringssystemen ska vi titta på de olika hanteringen uppgifter, granskning och underhåll av loggar, korrelation mellan datakällor och viss automatisering överväganden.

Om logghantering

Enkelt definierat är en logg den automatiskt producerade och tidsstämplade dokumentationen av en händelse som är relevant för ett visst system. När en händelse äger rum i ett system genereras en logg - eller loggpost -. Olika system genererar loggar för olika händelser. När det gäller logghantering hänvisar det generellt till de processer och policyer som används för att administrera och underlätta generering, överföring, analys och lagring av loggdata. Logghantering innebär vanligtvis ett centraliserat system där loggar från flera källor är aggregerade.

Logghantering är dock inte bara loggsamling. Som namnet antyder är ledningsdelen viktig. När loggar har tagits emot av logghanteringssystemet "översätts" de till ett vanligt format. Det är nödvändigt eftersom olika system formaterar loggar på olika sätt och inkluderar olika data i sina loggar. För att underlätta sökning och händelsekorrelation är ett av syftena med logghanteringssystem att se till att alla insamlade loggposter lagras i ett enhetligt format.

Prata om sökning och till och med korrelation, detta är en annan viktig funktion i de flesta loghanteringssystem. De bästa loghanteringssystemen har en kraftfull sökmotor. Det låter administratörer nollställa in exakt vad som behövs. Dessutom grupperar händelsekorrelation automatiskt relaterade händelser, även om de kommer från olika källor.

Loghantering bästa metoder

Logghantering är en komplex process, det är inte mycket vi kan göra åt det. Med denna komplexitet kommer risken att göra det fel. För att undvika det har vi sammanställt en lista över några av de bästa metoderna för loghantering. Vårt mål är att ge dig så mycket information som möjligt för att välja det bästa logghanteringssystemet för dina behov men, ännu viktigare, för att få ut mesta möjliga av det.

Loghanteringssystem eller DIY?

Av någon anledning tror vissa att de manuellt kan implementera ett "loghanteringssystem". Om du är bland dessa människor ska du sluta skoja omedelbart. Även om det är möjligt att genomföra någon form av logghantering manuellt, överstiger de erforderliga ansträngningarna mycket vad som krävs för att implementera ett riktigt logghanteringssystem. Och med flera tillgängliga kostnadsfria och öppna källkodsverktyg är kostnadsargumentet inte giltigt.

Det är nästan alltid vettigt att använda en hanterad loggningslösning som är byggd, stödd och skalad av en ansedd leverantör snarare än att bygga ut ett system på egen hand. Med dem behöver du bara ansluta dina källor och destinationer och du är redo att analysera system- och applikationsloggar på ett enkelt sätt. Du är fri att spendera mer tid på att övervaka och logga istället för att bygga ut din logginfrastruktur.

Att veta vad man ska övervaka (och vad inte)

Att veta vad man ska logga in är viktigt, men det är ännu viktigare att veta vad man inte ska logga in. Bara för att du kan logga in betyder det inte nödvändigtvis att du borde göra det. Att logga för mycket gör inte bara annat än att göra det svårare att hitta data som faktiskt betyder något. Dessutom ger den extra volymen loggar komplexitet och kostnader för din lagrings- och hanteringsprocess för loggar. Det är viktigt att tänka framåt om vad som kommer och inte kommer att loggas innan du börjar implementera en logghanteringsplattform. Det kommer att förhindra kostsamma misstag och gör att du kan göra ditt verktyg större.

Tänk noga över vad du faktiskt behöver för att logga in. Produktionsmiljöer som är kritiska för efterlevnad eller för revisionsändamål bör troligen loggas. Så bör data som hjälper dig felsöka prestandaproblem, lösa problem med användarupplevelsen eller övervaka säkerhetsrelaterade händelser.

Omvänt finns det saker som du inte behöver logga in, till exempel testmiljöer som inte är en väsentlig del av dina affärsprocesser. Det finns också data som du väljer att inte logga av för överensstämmelse eller säkerhetsskäl. Om en användare till exempel har aktiverat en inställning som inte spårar bör du inte logga in data som är kopplade till den användaren.

Implementera en loggsäkerhets- och lagringspolicy

Loggar kan innehålla känslig information. Därför måste du ha en säkerhetspolicy för loggar. Det är till exempel ovärderligt att till exempel se till att känslig information blir anonymiserad eller krypterad. Dessutom kräver säker transport av loggdata till logghanteringssystem användningen av krypterad transport med TLS eller HTTPS på klienten och på serversidan.

När det gäller en lagringspolicy kan loggar från olika källor eller system kräva olika lagringstider. Till exempel kan loggar som främst används för felsökning fungera med relativt korta kvarhållningstider, som några dagar - eller till och med några timmar. Å andra sidan kräver säkerhetsrelaterade loggar eller loggar för affärstransaktioner längre lagringstider, ofta för att lagstiftningen uppfylls. Med tanke på detta bör din lagringspolicy vara flexibel och anpassningsbar, beroende på loggkällan eller loggtypen.

Överväganden för logglagring

Att hålla loggdata använder värdefullt lagringsutrymme. När du planerar lagringskapaciteten för stockar måste du ta hänsyn till höga lasttoppar. I de flesta fall är mängden datajournal per dag relativt konstant. Det beror främst på systemanvändning och / eller antalet transaktioner per dag. Men när något går fel kan du förvänta dig en snabbare tillväxt i loggvolymen. Om din lagringslagring har gränser som du överskrider kan du förlora de senaste loggarna. För att mildra denna effekt använder de bästa loghanteringssystemen en cyklisk buffert. Den raderar de äldsta data först innan någon lagringsgräns tillämpas.

Logglagring bör också ha sin egen säkerhetspolicy. De flesta angripare kommer att försöka undvika eller ta bort sina spår i loggfiler. För att undvika det bör du skicka loggar i realtid till den centrala loggförvaringen - helst utanför webbplatsen - och säkra den. Således, om en angripare har tillgång till dina infrastrukturer utanför webbplatsen loggar kommer att hålla bevisen obehindrad.

Granska och underhålla loggar

Loggunderhåll är en viktig del av logghantering, om inte den viktigaste delen. Obehärda loggar kan leda till längre felsökning, risker för dataexponering och högre lagringskostnader för loggar. Granska loggarna som genereras av dina system och justera loggningsnivån efter dina behov. Du bör beakta användbarhets-, drifts- och säkerhetsaspekter.

Gör loggnivåkonfigurerbar

Vissa systemloggar är för ordentliga medan andra inte ger tillräckligt med information. Tyvärr finns det inte alltid något du kan göra åt det. De flesta system ger justerbara loggnivåer. De är nyckeln till att konfigurera loggarnas språklighet och se till att det som måste loggas är och vad som inte är viktigt inte är det.

Inspektera revisionsloggar ofta

Att agera i säkerhetsfrågor är avgörande. Det är därför man alltid ska ha ett öga på loggar. Om ditt logghanteringssystem inte har den funktionen - många av dem använder du externa säkerhetsverktyg som auditd eller OSSEC. De genomför realtidslogganalys och genererar varningsloggar som pekar på potentiella säkerhetsproblem. Och dessutom bör du definiera varningar om kritiska händelser för att bli snabbt underrättade om misstänkt aktivitet.

Korrelera datakällor

Loggning är bara ett element i en global övervakningsstrategi. För verkligt effektiv övervakning måste du komplettera logghantering med andra typer av övervakning, t.ex. övervakning baserad på händelser, varningar och spårning. Att göra det är det bästa sättet att få en hel bild av vad som händer när som helst. Trots att loggar är bra för att tillhandahålla högupplösta detaljer om frågor, är detta mest användbart när du tar lite avstånd för att titta på skogen innan du zooma in i träden.

Logghantering fungerar inte bra i en silo. Ingenting gör det. Du bör definitivt komplettera den med andra typer av övervakning som nätverksövervakning, infrastrukturövervakning och mer. Och i en idealvärld bör din övervakningslösning vara tillräckligt omfattande för att ge all din övervakningsinformation på ett ställe. Alternativt kan det integreras med andra verktyg som ger denna information. Målet här är att ha så mycket som möjligt en enkelrutavy över hela miljön.

Logghantering och automatisering

Logghantering kan hjälpa dig att fånga problem tidigt och därmed spara dig och ditt team värdefull tid och energi. Det kan också hjälpa dig att hitta möjligheter för automatisering. De flesta logghanteringsverktyg låter dig ställa in anpassade varningar som utlöses när något händer. En del låter dig till och med ställa in automatiska åtgärder som ska initieras när dessa varningar utlöses. Du bör använda lika mycket automatisering som ditt hanteringsverktyg tillåter. Trots den tid du kommer att spendera på att konfigurera denna automatisering kommer du att upptäcka att det var väl värt det första gången du stöter på en incident.

De 6 främsta logghanteringsverktygen

Vi har skurat marknaden och försökt hitta det bästa logghanteringsverktyget. Vi har försökt att sätta ihop en lista som innehåller olika typer av verktyg. När allt kommer omkring är allas behov olika och det bästa verktyget för en är inte nödvändigtvis det bästa för någon annan.

Solarwinds är ett vanligt namn inom området nätverksadministrationsverktyg. Det har funnits i cirka två decennier och det har gett oss några av de bästa bandbreddövervakningsverktygen och NetFlow-analysatorer och samlare. Företaget är också välkänt för att publicera flera gratisverktyg som tillgodoser vissa specifika behov hos nätverksadministratörer som subnätkalkylator eller en syslog-server.

När det gäller logghantering kallas nu företagets erbjudande SolarWinds Security Event Manager. Den döpte nyligen från Log & Event Manager, förmodligen för att bättre återspegla det faktum att detta faktiskt är mycket mer än bara ett logghanteringssystem. Många av dess avancerade funktioner sätter den i SIEM-serien (Security Information and Event Management). Det har till exempel korrelation i realtid och korrigering i realtid, två SIEM-liknande funktioner.

• GRATIS PRÖVNING: SolarWinds Security Event Manager
• Officiell nedladdningslänk: https://www.solarwinds.com/security-event-manager/registration

Låt oss titta på några av SolarWinds Security Event ManagerHuvudsakliga funktioner. Verktyget kan eliminera hot snabbt med omedelbar upptäckt av misstänkt aktivitet och automatiserade svar. Det kan också utföra utredningar av säkerhetshändelser och kriminaltekniker för att mildra och följa efterlevnaden. Och när vi talar om efterlevnad, kommer produkten att tillåta dig att demonstrera den, tack vare sin revisionsprövade rapportering för bland annat HIPAA, PCI DSS och SOX. Det här verktyget har också övervakning av filintegritet och övervakning av USB-enheter, två funktioner som ligger långt över vad vi vanligtvis ser i logghanteringssystem.

Priserna för SolarWinds Security Event Manager börja på $ 4585 för upp till 30 övervakade noder. Licenser för upp till 2500 noder kan köpas vilket gör produkten mycket skalbar. Och om du vill verifiera att produkten är rätt för dig, en gratis, fullständig 30-dagars rättegång är tillgänglig.

För det andra har vi en annan bra produkt som heter Pappersspår, ett nyligen förvärv av Solarwinds. Pappersspår är ett populärt molnbaserat logghanteringssystem. Det samlar loggfiler från en mängd populära produkter som Apache eller MySQL samt Ruby on Rails-appar, olika molntjänsttjänster och andra vanliga textloggfiler. Pappersspår användare kan sedan använda det webbaserade sökgränssnittet eller kommandoradsverktygen för att söka igenom dessa filer för att diagnostisera buggar och prestandaproblem. Verktyget integreras också med andra Solarwinds produkter som Librato och Geckoboard för grafiska resultat.

• GRATIS PLAN TILLGÄNGLIG: SolarWinds Papertrail
• Officiell nedladdningslänk: https://papertrailapp.com/plans

Pappersspår är en molnbaserad programvara som en tjänst (SaaS) som erbjuder från Solarwinds. Det är lätt att implementera, använda och förstå. Och det kommer att ge dig direkt synlighet över alla system på några minuter. Verktyget har en mycket effektiv sökmotor som kan söka både lagrade och strömmande loggar. Och det blixtsnabbt.

Pappersspår finns tillgängligt under flera planer inklusive en gratis plan. Det är dock något begränsat och tillåter bara 100 MB loggar varje månad. Det kommer dock att tillåta 16 GB loggar under den första månaden, vilket motsvarar att du får en gratis 30-dagars provperiod. Betalda planer börjar på $ 7 / månad för 1 GB / månad loggar, 1 års arkiv och 1 vecka index. Brusfiltrering tillåter verktyget att bevara data genom att inte spara värdelösa loggar.

3. Hantera Engine EventLog Analyzer

ManageEngine, ett annat vanligt namn med nätverksadministratörer, gör ett utmärkt logghanteringssystem som kallas Hantera Engine EventLog Analyzer. Produkten samlar in, hanterar, analyserar, korrelerar och söker igenom loggdata från över 700 källor med hjälp av en kombination av agentfri och agentbaserad loggsamling samt logimport.

Hastighet är en av Hantera Engine EventLog AnalyzerStyrka. Den kan bearbeta loggdata med imponerande 25 000 loggar / sekund och upptäcka attacker i realtid. Den kan också utföra snabb kriminalteknisk analys för att minska effekterna av ett brott. Systemets granskningsfunktioner omfattar nätverksomkretsenheternas loggar, användaraktiviteter, serverkontoändringar, användaråtkomst och mer, vilket hjälper dig att uppfylla säkerhetsrevisionsbehoven.

De Hantera Engine EventLog Analyzer är tillgängligt i en funktionsreducerad gratisutgåva som endast stöder 5 loggkällor eller i en premiumutgåva som börjar på 595 $ och varierar beroende på antalet enheter och applikationer. En gratis, fullständig 30-dagars provversion är också tillgänglig.

4. Ipswitch Log Management Suite

De Log Management Suite är en produkt från Ipswitch, samma företag som förde oss WhatsUp Gold, ett oerhört populärt verktyg för nätverksövervakning. Detta är ett automatiserat verktyg som samlar, lagrar, arkiverar och sparar systemloggar, Windows-händelser och W3C / IIC-loggar. Dessutom kommer dess kontinuerliga loggövervakning att varna dig för misstänkt aktivitet.

Ofta granskade händelser som åtkomsträttigheter och behörigheter för fil, mapp och objekt kan följas, generera larm efter behov och används för att bygga efterlevnadsrapporter för HIPAA, SOX, FISMA, PCI, MiFID eller Basel II efterlevnad. Verktyget kan också hjälpa dig omvandla dina råa loggdata till meningsfulla data för chefer eller IT-säkerhetsteam tack vare dess automatiska filtrering, korrelering, rapportering och konvertering.

Prisinformation för Log Management Suite är inte lätt tillgängligt från Ipswitch. Produkten kan köpas antingen direkt från utgivaren eller genom IpswitchS återförsäljarnätverk. En gratis provversion är också tillgänglig.

5. Alert Logic Log Manager

VarningslogikDet främsta fokuset är på säkerhet och efterlevnad. Och eftersom logghantering är nära besläktad med båda, är det ingen överraskning att företaget erbjuder Alert Logic Log Manager. Detta molnbaserade verktyg erbjuder automatiserad och enhetlig logghantering i alla dina miljöer. Den kommer att samla in, aggregera och söka loggdata från moln, server, applikation, säkerhet och nätverkstillgångar.

De Alert Logic Log Manager inkluderar loggövervakning och analys samt logggranskning som görs live av mänskliga analysatorer. VarningslogikExperter varnar dig om eventuell hotaktivitet 365 dagar om året. Tjänsten kommer också att hjälpa till att uppfylla kraven för logggranskning av SOC 2, HIPAA och SOX och avlastar bördan att granska loggar och följa upp händelser, för att uppfylla PCI / DSS 10.6, 10.6.1, 10.6.3

Prisinformation för Alert Logic Log Manager är inte lätt tillgänglig från webben och du behöver kontakta Varningslogik försäljning för att få en formell offert. En gratis testversion är inte heller tillgänglig men en gratis demo kan ordnas genom att kontakta Varningslogik.

6. Nagios Log Server

Du kanske redan vet Nagios som ett utmärkt nätverksövervakningspaket. Genom att erbjuda den en fri och öppen källkod såväl som i en kommersiell version har produkten ett gott rykte. För logghantering, Nagios"Erbjudande kallas Nagios Log Server. Det är ett komplett paket med centraliserad logghantering, övervakning och analys. Det här verktyget kan förenkla processen att söka i dina loggdata. Det låter dig också ställa in varningar som ska meddelas om potentiella hot. Dessutom har programvaran hög tillgänglighet och fail-over inbyggd direkt i den. Dess enkla källinstallationsguider kan hjälpa dig att konfigurera dina servrar och andra enheter för att skicka loggdata till plattformen, så att du kan börja övervaka dina loggar inom några minuter.

De Nagios Log Server ger enkel korrelation mellan logghändelser över alla loggkällor med bara några klick. Systemet låter dig visa loggdata i realtid, låta analysera och lösa problem i realtid, när de uppstår. En annan styrka hos produkten är dess imponerande skalbarhet. Detta verktyg fortsätter att tillgodose dina behov när din organisation växer. Om det behövs ytterligare Nagios Log Server instanser kan läggas till i ett övervakningskluster, så att du snabbt kan lägga till mer kraft, hastighet, lagring och tillförlitlighet.

Med alla dessa funktioner kan man förvänta sig en rejäl prislapp. Det är inte fallet och priset för enskilda instanser för Nagios Log Server är en mycket rimlig $ 3 995. Trots att du inte erbjuder en kostnadsfri prövning finns det en gratis online-demo om du föredrar att titta först på produkten innan du gör ett köpbeslut.