Log management bedste praksis og systemer

Håndtering af logfiler kan være en kompleks bestræbelse. En typisk organisation genererer ikke kun masser af dem, men de kommer fra en række forskellige kilder, hver med et potentielt andet format og indeholder forskellige oplysninger. For at sætte en sans for orden i noget, der hurtigt kan blive kaotisk, blev loghåndtering opfundet. I dag ser vi på den bedste praksis og systemer for logadministration. Vi håber, at det vil hjælpe dig med at se klart igennem dette.

Vi starter med en kort beskrivelse af logstyring. Derefter dykker vi lige ind i den bedste praksis med loghåndtering. Vi undersøger, om du skal bruge et færdigsyet system eller gøre det selv. Vi vil også se på hvad - og hvad der ikke skal overvåges efterfulgt af logsikkerhed og opbevaring samt lagringshensyn. Og inden vi gennemgår nogle af de bedste logadministrationssystemer, skal vi se på de forskellige management opgaver, gennemgang og vedligeholdelse af logfiler, sammenhængen mellem datakilder og en vis automatisering overvejelser.

Om loghåndtering

Enkelt defineret er en log den automatisk producerede og tidsstemplede dokumentation af en begivenhed, der er relevant for et bestemt system. Når en begivenhed finder sted på et system, genereres en log - eller logindtastning -. Forskellige systemer genererer logfiler til forskellige begivenheder. Hvad angår loghåndtering, henviser det generelt til de processer og politikker, der bruges til at administrere og lette generering, transmission, analyse og lagring af logdata. Loghåndtering indebærer typisk et centraliseret system, hvor logfiler fra flere kilder er samlet.

Loghåndtering er dog ikke kun logindsamling. Som navnet antyder, er ledelsesdelen vigtig. Når logfiler er modtaget af logstyringssystemet, "oversættes" de til et fælles format. Det er nødvendigt, da forskellige systemer formaterer logfiler forskelligt og inkluderer forskellige data i deres logfiler. For at gøre søgning og hændelseskorrelation lettere er et af formålene med logstyringssystemer at sikre, at alle indsamlede logposter gemmes i et ensartet format.

Når vi taler om søgning og endda sammenhæng, er dette en anden vigtig funktion i de fleste logadministrationssystemer. De bedste loghåndteringssystemer har en kraftfuld søgemaskine. Det giver administratorer mulighed for at indtaste nøjagtigt, hvad der er nødvendigt. Derudover grupperer begivenhedskorrelation automatisk relaterede begivenheder, selvom de kommer fra forskellige kilder.

Loghåndtering bedste praksis

Loghåndtering er en kompleks proces, der er ikke meget, vi kan gøre ved den. Med denne kompleksitet kommer risikoen for at gøre det forkert. For at undgå dette har vi udarbejdet en liste over nogle af de bedste metoder til loghåndtering. Vores mål er at give dig så meget information som muligt for at vælge det bedste loghåndteringssystem til dine behov, men, endnu vigtigere, for at få mest muligt ud af det.

Logstyringssystem eller DIY?

Af en eller anden grund tror nogle mennesker, at de manuelt kan implementere et “log management system”. Hvis du er blandt disse mennesker, skal du stoppe med at narre dig selv med det samme. Selvom det er muligt at implementere nogen form af logstyring manuelt, overstiger de krævede bestræbelser langt, hvad der kræves for at implementere et ægte logstyringssystem. Og med flere tilgængelige gratis og open source-værktøjer, er omkostningsargumentet ikke et gyldigt.

Det giver næsten altid mening at bruge en administreret logging-løsning, der er bygget, understøttet og skaleret af en velrenommeret leverandør i stedet for at opbygge et system på egen hånd. Med dem er det eneste, du typisk skal gøre, at forbinde dine kilder og destinationer, og du er klar til at analysere system- og applikationslogfiler på den lette måde. Du er fri til at bruge mere tid på at overvåge og logge i stedet for at bygge din log-infrastruktur.

At vide, hvad man skal overvåge (og hvad ikke)

At vide, hvad man skal logge, er vigtigt, men det er endnu vigtigere at vide, hvad man ikke skal logge på. Bare fordi du kan logge, betyder det ikke nødvendigvis, at du skal. At logge for meget gør ikke andet end at gøre det sværere at finde data, der faktisk betyder noget. Desuden tilføjer den ekstra mængde logfiler kompleksitet og omkostninger til din logopbevarings- og styringsprocesser. Det er vigtigt at tænke fremover, hvad der vil og ikke vil blive logget, før du begynder at implementere en logadministrationsplatform. Det vil forhindre dyre fejl og giver dig mulighed for at størrelse dit værktøj bedre.

Overvej nøje, hvad du faktisk har brug for at logge. Produktionsmiljøer, der er kritiske for overholdelse eller til revisionsformål, skal sandsynligvis logges. Så skulle data, der hjælper dig med at løse ydelsesproblemer, løse problemer med brugeroplevelsen eller overvåge sikkerhedsrelaterede begivenheder.

Omvendt er der ting, som du ikke har brug for at logge på, som for eksempel testmiljøer, der ikke er en væsentlig del af dine forretningsforløb. Der er også data, som du vælger ikke at logge af overensstemmelse eller sikkerhedsmæssige årsager. Hvis en bruger f.eks. Har aktiveret en indstilling for ikke-spor, skal du ikke logge data, der er tilknyttet denne bruger.

Implementering af en logsikkerheds- og opbevaringspolitik

Logfiler kan indeholde følsomme data. Af den grund skal du have en logsikkerhedspolitik. Det vil være uvurderligt for eksempel at sikre, at følsomme data bliver anonymiseret eller krypteret. Den sikre transport af logdata til logadministrationssystemer kræver også brugen af ​​krypteret transport ved hjælp af TLS eller HTTPS på klienten og på serversiden.

Hvad angår en tilbageholdelsespolitik, kan logfiler fra forskellige kilder eller systemer kræve forskellige tilbageholdelsestider. For eksempel kan logfiler, der primært bruges til fejlfinding, arbejde med relativt korte opbevaringstider, såsom et par dage - eller endda et par timer. På den anden side kræver sikkerhedsrelaterede logfiler eller logistikker til forretningstransaktioner længere opbevaringstider, ofte for overholdelse af lovgivningen. I betragtning af dette skal din opbevaringspolitik være fleksibel og tilpasningsdygtig, afhængigt af logkilden eller logtypen.

Overvejelser til logopbevaring

Opbevaring af logdata bruger værdifuld lagerplads. Når du planlægger lagringskapacitet for logfiler, skal du overveje toppe med høj belastning. I de fleste tilfælde er mængden af ​​datalog per dag relativt konstant. Det afhænger hovedsageligt af systemudnyttelse og / eller antallet af transaktioner pr. Dag. Når der dog går noget galt, kan du forvente hurtigere vækst i logvolumen. Hvis din logopbevaring har grænser, som du overskrider, kan du miste de nyeste logfiler. For at mindske denne effekt bruger de bedste logadministrationssystemer en cyklisk buffer. Det sletter de ældste data først, inden der bruges en lagringsgrænse.

Logopbevaring skal også have sin egen sikkerhedspolitik. De fleste angribere vil forsøge at undgå eller slette deres spor i logfiler. For at undgå dette, skal du sende logfiler i realtid til den centrale logopbevaring - helst off-site - og sikre dem. Således, hvis en angriberen har adgang til din infrastruktur, off-site-logfiler, vil holde beviset ubeskadiget.

Gennemgang og vedligeholdelse af logfiler

Logvedligeholdelse er en vigtig del af logstyring, hvis ikke den vigtigste del. Ikke-vedligeholdte logfiler kan føre til længere fejlfinding, risiko for dataeksponering og højere logoplagringsomkostninger. Gennemgå logfilerne genereret af dine systemer, og juster logniveauet til dine behov. Du skal overveje anvendelighed, operationelle og sikkerhedsaspekter.

Gør logniveauet konfigurerbart

Nogle systemlogfiler er for ordrette, mens andre ikke giver tilstrækkelig information. Desværre er der ikke altid noget, du kan gøre ved det. De fleste systemer giver justerbare logniveauer. De er nøglen til at konfigurere logos 'verbositet og sikre, at hvad der skal logges er, og hvad der ikke er vigtigt, ikke er.

Inspicér revisionslogfiler ofte

At handle i sikkerhedsspørgsmål er afgørende. Derfor skal man altid have øje med logfiler. Hvis dit logadministrationssystem ikke har denne funktion - mange af dem gør det, skal du bruge eksterne sikkerhedsværktøjer såsom auditd eller OSSEC. De implementerer log-analyse i realtid og genererer alarmlogs, der peger på potentielle sikkerhedsproblemer. Og derudover skal du definere advarsler om kritiske begivenheder for hurtigt at blive underrettet om enhver mistænksom aktivitet.

Korrelere datakilder

Logning er kun et element i en global overvågningsstrategi. For virkelig effektiv overvågning skal du supplere loghåndtering med andre typer overvågning, f.eks. Overvågning baseret på begivenheder, alarmer og sporing. At gøre det er den bedste måde at få et helt billede af, hvad der foregår på ethvert tidspunkt. Mens logfiler er gode til at give detaljerede detaljer i emner, er dette mest nyttigt, når du tager lidt afstand til at se på skoven, før du zoomer ind i træerne.

Loghåndtering fungerer ikke godt i en silo. Intet gør det. Du bør helt sikkert supplere det med andre typer overvågning, såsom netværksovervågning, infrastrukturovervågning og mere. Og i en ideel verden skal din overvågningsløsning være omfattende nok til at give alle dine overvågningsoplysninger et sted. Alternativt kan det integreres med andre værktøjer, der giver disse oplysninger. Målet her er at have så meget som muligt en enkelt rude til hele miljøet.

Logstyring og automatisering

Loghåndtering kan hjælpe dig med at fange problemer tidligt og derved spare dig og dit team værdifuld tid og energi. Det kan også hjælpe dig med at finde muligheder for automatisering. De fleste loghåndteringsværktøjer giver dig mulighed for at opsætte tilpassede alarmer, der udløser, når der sker noget. Nogle vil endda lade dig konfigurere automatiserede handlinger, der skal iværksættes, når disse advarsler udløses. Du skal bruge så meget automatisering, som dit styringsværktøj tillader. På trods af den tid, du vil bruge på at konfigurere denne automatisering, finder du ud af, at det var værd at det var første gang, du støder på en hændelse.

De 6 øverste værktøjer til loghåndtering

Vi har fjernet markedet ved at finde det bedste loghåndteringsværktøj. Vi har forsøgt at sammensætte en liste, der indeholder forskellige typer værktøjer. Når alt kommer til alt er alles behov forskellige, og det bedste værktøj til en er ikke nødvendigvis det bedste for en anden.

SolarWinds er et almindeligt navn inden for netværksadministrationsværktøjer. Det har eksisteret i cirka to årtier, og det har bragt os nogle af de bedste båndbreddeovervågningsværktøjer og NetFlow-analysatorer og samlere. Virksomheden er også kendt for at offentliggøre flere gratis værktøjer, der imødekommer nogle specifikke behov hos netværksadministratorer, såsom subnet-lommeregner eller en syslog-server.

Når det kommer til loghåndtering kaldes virksomhedens tilbud nu the SolarWinds Security Event Manager. Det blev for nylig omdøbt fra Log & Event Manager, sandsynligvis for bedre at afspejle det faktum, at dette faktisk er meget mere end bare et logadministrationssystem. Mange af dets avancerede funktioner sætter det i SIEM-området (Security Information and Event Management). Det har for eksempel realtidshændelseskorrelation og realtidsrensning, to SIEM-lignende funktioner.

• GRATIS PRØVE: SolarWinds Security Event Manager
• Officielt downloadlink: https://www.solarwinds.com/security-event-manager/registration

Lad os se på nogle af dem SolarWinds Security Event Manager'S vigtigste funktioner. Værktøjet kan eliminere trusler hurtigt ved øjeblikkelig registrering af mistænkelig aktivitet og automatiserede svar. Det kan også udføre sikkerhedsbegivenhedsundersøgelse og kriminalteknologi til afhjælpning og overholdelse. Og når vi taler om overholdelse, vil produktet give dig mulighed for at demonstrere det, takket være sin revisionsprøvede rapportering til blandt andet HIPAA, PCI DSS og SOX. Dette værktøj har også overvågning af filintegritet og USB-enhedsovervågning, to funktioner, der er langt over det, vi ofte ser i logadministrationssystemer.

Priser for SolarWinds Security Event Manager start ved $ 4585 for op til 30 overvågede noder. Licenser til op til 2500 noder kan købes, hvilket gør produktet meget skalerbart. Og hvis du vil verificere, at produktet passer til dig, en gratis, komplet 30-dages prøveperiode er tilgængelig.

For det andet har vi et andet fantastisk produkt, der hedder Papertrail, en nylig erhvervelse af SolarWinds. Papertrail er et populært skybaseret logadministrationssystem. Det samler logfiler fra en lang række populære produkter som Apache eller MySQL samt Ruby on Rails-apps, forskellige cloud-hostingtjenester og andre standardtekstlogfiler. Papertrail brugere kan derefter bruge den webbaserede søgegrænseflade eller kommandolinjeværktøjerne til at søge gennem disse filer for at hjælpe med at diagnosticere fejl og ydelsesproblemer. Værktøjet integreres også med andre SolarWinds produkter såsom Librato og Geckoboard til graferingsresultater.

• GRATIS PLAN TILGÆNGELIG: SolarWinds Papertrail
• Officielt downloadlink: https://papertrailapp.com/plans

Papertrail er en skybaseret software som en service (SaaS), der tilbyder fra SolarWinds. Det er let at implementere, bruge og forstå. Og det giver dig øjeblikkelig synlighed på tværs af alle systemer på få minutter. Værktøjet har en meget effektiv søgemaskine, der kan søge i både gemte og streaming-logfiler. Og det er lynet hurtigt.

Papertrail er tilgængelig under flere planer, herunder en gratis plan. Det er dog noget begrænset og tillader kun 100 MB logfiler hver måned. Det vil dog tillad 16 GB logfiler i den første måned, hvilket svarer til at give dig en gratis 30-dages prøveperiode. Betalte planer starter ved $ 7 / måned for 1 GB / måned logfiler, 1 års arkiv og 1 uges indeks. Støjfiltrering gør det muligt for værktøjet at bevare data ved ikke at gemme unyttige logfiler.

3. ManageEngine EventLog Analyzer

ManageEngine, et andet almindeligt navn med netværksadministratorer, gør et fremragende logadministrationssystem kaldet ManageEngine EventLog Analyzer. Produktet indsamler, administrerer, analyserer, korrelerer og søger gennem logdata fra over 700 kilder ved hjælp af en kombination af agentløs og agentbaseret logopsamling såvel som logimport.

Hastighed er en af ManageEngine EventLog AnalyzerStyrke. Det kan behandle logdata med imponerende 25.000 logs / sekund og opdage angreb i realtid. Det kan også udføre hurtig retsmedicinsk analyse for at reducere virkningen af ​​et brud. Systemets revisionsfunktioner udvider til netværkets perimeterenheders logfiler, brugeraktiviteter, ændringer af serverkonto, brugeradgang og mere, hvilket hjælper dig med at imødekomme sikkerhedsrevisionsbehov.

Det ManageEngine EventLog Analyzer er tilgængelig i en funktionsreduceret gratis udgave, der kun understøtter 5 logkilder eller i en premiumudgave, der starter ved $ 595 og varierer afhængigt af antallet af enheder og applikationer. En gratis komplet 30-dages prøveversion er også tilgængelig.

4. Ipswitch Log Management Suite

Det Log Management Suite er et produkt fra Ipswitch, det samme firma, der bragte os WhatsUp Gold, et ekstremt populært værktøj til overvågning af netværk. Dette er et automatiseret værktøj, der indsamler, gemmer, arkiverer og gemmer systemlogfiler, Windows-begivenheder og W3C / IIC-logfiler. Desuden vil dens kontinuerlige logovervågning advare dig om enhver mistænksom aktivitet.

Hyppigt reviderede begivenheder såsom adgangsrettigheder og privilegier til fil, mappe og objekt kan følges, generering af alarmer efter behov og bruges til at oprette compliancerapporter for HIPAA, SOX, FISMA, PCI, MiFID eller Basel II overholdelse. Værktøjet kan også hjælpe dig med at omdanne dine rå logdata til meningsfulde data for ledere eller IT-sikkerhedsteam takket være dets automatiske filtrerings-, korrelerings-, rapporterings- og konverteringsfunktioner.

Prisoplysninger for Log Management Suite er ikke let tilgængelig fra Ipswitch. Produktet kan købes enten direkte fra udgiveren eller gennem Ipswitch'S forhandlernetværk. En gratis prøveversion er også tilgængelig.

5. Alert Logic Log Manager

Alert Logic'S primære fokus er på sikkerhed og overholdelse. Og da logstyring er tæt knyttet til begge dele, er det ingen overraskelse, at virksomheden tilbyder Alert Logic Log Manager. Dette skybaserede værktøj tilbyder automatisk og samlet logadministration på tværs af alle dine miljøer. Det vil indsamle, samle og søge logdata fra skyen, serveren, applikationen, sikkerheden og netværksaktiverne.

Det Alert Logic Log Manager inkluderer logovervågning og analyse samt loggennemgang, der udføres live af menneskelige analysatorer. Alert Logic'S eksperter vil advare dig om mulig trusselaktivitet 365 dage om året. Tjenesten vil også hjælpe med at opfylde kravene til loggennemgang i SOC 2, HIPAA og SOX og aflaste byrden ved at gennemgå logfiler og opfølgning af begivenheder for at overholde PCI / DSS 10.6, 10.6.1, 10.6.3

Prisoplysninger for Alert Logic Log Manager er ikke let tilgængelig fra internettet, og du skal kontakte Alert Logic salg for at få et formelt tilbud. En gratis prøveversion er heller ikke tilgængelig, men en gratis demo kan arrangeres ved at kontakte Alert Logic.

6. Nagios Log Server

Det ved du måske allerede Nagios som en fremragende netværksovervågningspakke. Tilbudt det en gratis og open source såvel som i en kommerciel version, produktet har et solidt omdømme. Til loghåndtering, Nagios‘Tilbud kaldes the Nagios Log Server. Det er en komplet pakke med centraliseret logstyring, overvågning og analyse. Dette værktøj kan forenkle processen med at søge i dine logdata. Det giver dig også mulighed for at indstille alarmer, der skal meddeles om potentielle trusler. Desuden har softwaren stor tilgængelighed og fail-over indbygget lige i det. Dets nemme kildekonfigurationsguider kan hjælpe dig med at konfigurere dine servere og andre enheder til at sende deres logdata til platformen, så du kan begynde at overvåge dine logfiler inden for få minutter.

Det Nagios Log Server giver let sammenhæng mellem logbegivenheder på tværs af alle loggingskilder med bare et par klik. Systemet giver dig mulighed for at se logdata i realtid og lade analysere og løse problemer i realtid, når de forekommer. En anden styrke ved produktet er dets imponerende skalerbarhed. Dette værktøj fortsætter med at imødekomme dine behov, når din organisation vokser. Eventuelt yderligere Nagios Log Server forekomster kan føjes til en overvågningsklynge, så du hurtigt kan tilføje mere strøm, hastighed, opbevaring og pålidelighed.

Med alle disse funktioner kan man forvente en heftig prismærke. Det er ikke tilfældet og enkeltforekomstsprisen for Nagios Log Server er en meget rimelig $ 3 995. Trods ikke at tilbyde en gratis prøveversion er en gratis online demo tilgængelig, hvis du foretrækker at have et førstehånds-kig på produktet, inden du tager en købsbeslutning.