6 najlepszych narzędzi do zarządzania dziennikami dla systemu Linux w 2020 r

Ponieważ dzisiejsze systemy generują masę danych rejestrowania, nic dziwnego, że administratorzy zawsze szukają rozwiązań do zarządzania logami. Dzienniki są domyślnie często przechowywane lokalnie. Ma to sens, ponieważ ułatwia powiązanie ich z ich źródłem. Ale próbując rozwiązać problemy i znaleźć ich główną przyczynę, czasami musimy patrzeć na wiele plików dziennika na wielu urządzeniach. Czy nie byłoby miło, gdyby wszystkie dzienniki ze wszystkich urządzeń były przechowywane w jednym, scentralizowanym miejscu? To jest cel zarządzanie logami. A jeśli twoją platformą jest Linux, dostępnych jest wiele opcji. Czytaj dalej, gdy odkryjemy jedne z najlepszych metod zarządzania logami w systemie Linux

Zaczniemy od zdefiniowania zarządzania logami. Przekonasz się, że może to być coś więcej niż tylko scentralizowanie przechowywania dziennika. Następnie omówimy różne technologie rejestrowania. Są kamieniem węgielnym zarządzania logami i bez nich prawdopodobnie by nie istniał. Kontynuując, rozróżnimy serwery syslog od systemów zarządzania logami i uświadomimy sobie, że nie ma między nimi wyraźnego rozgraniczenia. Następnie zatrzymamy się na krótko i omówimy

Informacje o bezpieczeństwie i systemy zarządzania zdarzeniami. Są innym rodzajem systemu, który często jest mylony z zarządzaniem logami, dzięki nieco niejasnej definicji każdego z nich. Na koniec przejrzymy najlepsze zarządzanie logami w systemie Linux.

Co to jest zarządzanie dziennikami?

Zanim porozmawiamy o zarządzaniu dziennikiem, zdefiniujmy, co to jest dziennik. Mówiąc prosto, dziennik to automatycznie tworzona i opatrzona znacznikiem czasu dokumentacja zdarzenia odnosząca się do konkretnego systemu. Innymi słowy, ilekroć zdarzenie ma miejsce w systemie, generowany jest dziennik. Systemy i urządzenia będą generować dzienniki dla różnych rodzajów zdarzeń, a wiele systemów daje administratorom pewien stopień kontroli nad tym, które zdarzenie generuje dziennik, a które nie.

Jeśli chodzi o zarządzanie logami, to po prostu odnosi się do procesów i polityk używanych do administrowania i ułatwiania generowanie, przesyłanie, analiza, przechowywanie, archiwizacja i ostateczne usuwanie dużych ilości danych dziennika. Chociaż nie jest to jasno określone, zarządzanie logami oznacza scentralizowany system, w którym gromadzone są logi z wielu źródeł. Zarządzanie dziennikami to jednak nie tylko gromadzenie dzienników. Najważniejsza jest część zarządzania. Systemy zarządzania dziennikami często mają wiele funkcji, zbieranie dzienników jest tylko jedną z nich.

Po otrzymaniu logów przez system zarządzania logami, należy je znormalizować do wspólnego formatu, ponieważ różne systemy logują inaczej logi i zawierają różne dane. Niektóre rozpoczynają rejestr z datą i godziną, niektóre zaczynają od numeru zdarzenia. Niektóre zawierają tylko identyfikator zdarzenia, a inne zawierają pełny tekst opisu zdarzenia. Jednym z celów systemów zarządzania dziennikami jest zapewnienie, że wszystkie zebrane wpisy dziennika są przechowywane w jednolitym formacie. Spowoduje to znacznie łatwiejsze korelowanie zdarzeń i ewentualne wyszukiwanie.

Nawet korelacja i wyszukiwanie to dwie dodatkowe główne funkcje kilku systemów zarządzania logami. Najlepsze z nich mają potężną wyszukiwarkę, która pozwala administratorom dokładnie określić, czego potrzebują. Funkcje korelacji automatycznie grupują powiązane zdarzenia, nawet jeśli pochodzą z różnych źródeł. Jak - i jak skutecznie - osiągają różne systemy zarządzania dziennikami, jest to główny czynnik różnicujący.

Przeczytaj także:15 najlepszych narzędzi do monitorowania sieci (nasz własny przegląd)

Technologie rejestrowania

Zarządzanie logami byłoby znacznie trudniejsze, a może nawet niemożliwe, gdyby nie protokoły rejestrowania. Kilka z nich istnieje. Określają, jakie dane mają być zawarte w logach, jak powinny być sformatowane, a czasem jak mają być przesyłane między systemami.

Syslog jest prawdopodobnie najczęściej używanym protokołem logowania, szczególnie w świecie Linuksa. Technologia została wynaleziona na początku lat osiemdziesiątych i stała się de facto standardem dla wszystkich systemów uniksopodobnych. Jednym z największych atutów technologii syslog jest to, jak ułatwia separację między systemem lub oprogramowanie, które generuje logi, system, który je przechowuje, oraz oprogramowanie, które raportuje i analizuje im. Korzystanie z technologii Syslog znacznie ułatwia zarządzanie logami. A Syslog nie jest wyłącznym Uniksem. Wiele urządzeń nie uniksowych, takich jak przełączniki, routery i wszelkiego rodzaju sprzęt wielu dostawców, korzysta z wariantu protokołu syslog.

Istnieją inne technologie rejestrowania. Na przykład Microsoft Windows używa innego systemu rejestrowania. Może to mieć związek z faktem, że systemy operacyjne i aplikacje Windows mają dzienniki, które zazwyczaj zawierają bardziej szczegółowe informacje, niż pozwala na to technologia Syslog. Na szczęście funkcje modułu zbierającego zdarzenia systemu Windows umożliwiają zarządzanie dziennikami za pomocą różnych systemów do odbierania zdarzeń od hostów systemu Windows. Ten post dotyczy zarządzania dziennikami w systemie Linux, więc nie marnujmy zbyt wiele czasu w systemie Windows.

Bez względu na to, jaka technologia rejestrowania jest używana, ważną częścią zarządzania logami jest konfigurowanie urządzeń do wysyłania ich logów do systemu zarządzania. Inne rodzaje narzędzi, takie jak systemy monitorowania sieci może pobierać dane z monitorowanych przez siebie systemów, ale dzięki zarządzaniu logami każde urządzenie musi zostać „poinformowane”, gdzie wysłać swoje logi. Jest to jednak stosunkowo proste zadanie, które często wykonuje się przez wydanie prostej komendy.

DALSZE CZYTANIE:Najlepsze oprogramowanie do mapowania i topologii diagramów sieciowych

Serwery dziennika lub zarządzanie logami?

Ponieważ od dłuższego czasu jest dostępny w każdym systemie uniksowym - w tym Linux - Syslog jest często używany jako serwer dziennika z jednym komputerem odbierającym dane Syslog od kilku innych. Chociaż scentralizowane przechowywanie dzienników ma określone zalety, nie wystarczy nazwać zarządzanie dziennikami.

Aby zasłużyć na nazwę Log Management System, produkt musi zawierać przynajmniej niektóre bardziej zaawansowane funkcje. Według Wikipedii „zarządzanie logami składa się z następujących funkcji: zbieranie logów, scentralizowane agregacja logów, długoterminowe przechowywanie i przechowywanie logów, rotacja logów, analiza logów, wyszukiwanie logów i raportowanie ”. Łał! To dużo funkcjonalności. Z drugiej strony serwery dzienników często oferują tylko gromadzenie i przechowywanie dzienników, a rzadko więcej.

Słowo (lub dwa) o SIEM

Inną popularną technologią związaną z logami i często myloną z systemami zarządzania logami są informacje o bezpieczeństwie i zarządzanie zdarzeniami lub SIEM. Różni się to od zarządzania logami, ale jest ściśle powiązane. Linia między nimi jest tak cienka, że ​​niektóre produkty reklamowane jako systemy zarządzania logami są w rzeczywistości systemami SIEM, a niektóre podstawowe systemy SIEM to nic więcej jak zaawansowane systemy zarządzania logami.

Zamieszanie wynika z faktu, że zarządzanie logami - a przynajmniej analiza logów - jest ważnym elementem systemów SIEM. Tym, co wyróżnia systemy SIEM, jest to, że przeprowadzają analizę logów, a ich ostatecznym celem jest identyfikacja problemów bezpieczeństwa. Będą na przykład szukać oznak nieudanego logowania, które mogą być znakiem ostrzegawczym nieautoryzowana próba wtargnięcia. Systemy te stale skanują wpisy w dzienniku szukam czegoś niezwykłego. Podczas gdy niektóre systemy SIEM zawierają rozbudowane funkcje zarządzania logami, niektóre korzystają z zewnętrznego systemu zarządzania logami i często zdarza się, że oba systemy działają obok siebie.

POWIĄZANE CZYTANIE:Najlepsze skanery IP dla komputerów Mac

Najlepsze zarządzanie logami w systemie Linux

Mamy nadzieję, że mamy teraz powszechne zrozumienie, czym jest zarządzanie logami, a czym nie. Zobaczmy, co jest dostępne dla Linuksa. Ale najpierw wyjaśnijmy coś. Mówiąc o zarządzaniu logami Linux, mamy na myśli systemy zarządzania logami, które mogą pomieścić logi Linux i które będą działały na platformie Linux lub w chmurze. Niektóre z naszych opcji - w szczególności systemy oparte na chmurze - będą również działać z dziennikami z innych platform.

SolarWinds stała się popularną marką wśród administratorów sieci. Tworzy jedne z najlepszych narzędzi od prawie 20 lat, dostarczając nam świetne narzędzia do monitorowania przepustowości oraz jeden z najlepszych analizatorów i kolektorów NetFlow. Firma jest również znana z publikowania kilku bezpłatnych narzędzi, które spełniają określone potrzeby administratorów sieci, takich jak kalkulator podsieci lub serwer syslog.

• DARMOWY PLAN: SolarWinds Papertrail
• Oficjalny link do pobrania: https://papertrailapp.com/plans

Nie tak dawno, SolarWinds nabyty Papierowy szlak, popularny system zarządzania logami. Gromadzi pliki dziennika z wielu popularnych produktów, takich jak Apache lub MySQL, a także aplikacje Ruby on Rails, różne usługi hostingu w chmurze oraz inne standardowe pliki dziennika syslog i tekstowe. Papierowy szlak użytkownicy mogą następnie skorzystać z internetowego interfejsu wyszukiwania lub narzędzi wiersza polecenia do przeszukiwania tych plików, aby pomóc w diagnozowaniu różnych problemów. Papertrail integruje się również z innymi produktami SolarWinds, takimi jak Librato i Geckoboard, w celu tworzenia wykresów wyników.

Papierowy szlak to oparte na chmurze oprogramowanie jako usługa (SaaS) od SolarWinds. Oparte na chmurze oznacza, że ​​będzie działać dobrze w środowisku opartym na systemie Linux. Platforma jest łatwa do wdrożenia, użytkowania i zrozumienia, a także zapewni natychmiastową widoczność we wszystkich systemach w ciągu kilku minut. Ponadto produkt ma bardzo skuteczną wyszukiwarkę, która może przeszukiwać zarówno zapisane, jak i przesyłane dzienniki. I to błyskawicznie.

Papierowy szlak jest dostępny w ramach kilku planów, w tym planu bezpłatnego. Jest jednak nieco ograniczony i pozwala tylko 100 MB dzienników każdego miesiąca. Umożliwi to jednak 16 GB dzienników w pierwszym miesiącu, co jest równoważne dając ci 30-dniowy bezpłatny okres próbny. Plany płatne zaczynają się od 7 USD / miesiąc za 1 GB / miesiąc dzienników, 1 rok archiwizacji i 1 tydzień indeksowania. Filtrowanie szumów pozwala narzędziu zachować dane, nie zapisując bezużytecznych dzienników.

Loggly to kolejna usługa internetowa oparta na chmurze. Jest to przede wszystkim konsolidator logów, oferuje także funkcję analizy logów. Ze względu na to, że jest oparty na chmurze, ten system nie wymaga instalacji i jest gotowy do użycia od momentu subskrypcji. Oczywiście twoje systemy i urządzenia będą musiały zostać skonfigurowane, aby okresowo przesyłać ich standardowe pliki dziennika na serwer online.

• BEZPŁATNA WERSJA PRÓBNA: Loggly plany
• Oficjalny link: https://www.loggly.com

Loggly następnie konwertuje otrzymane dane dziennika do standardowego formatu, umożliwiając analizatorowi przetwarzanie rekordów z różnych źródła oraz włączanie śledzenia i korelowania zdarzeń we wszystkich systemach, niezależnie od ich systemu operacyjnego i rejestrowania technologia. Źródła danych dziennika nie są ograniczone do serwerów lokalnych. System jest oczywiście w stanie przetwarzać dzienniki generowane przez serwery online, takie jak AWS i Amazon może zawierać wiadomości tworzone przez określone aplikacje, takie jak Docker i Logstash, aby wymienić tylko mało.

The Loggly usługa jest dostępna w ramach trzech różnych planów, wraz ze wzrostem limitów przetwarzania danych i czasów przechowywania. Musisz wybrać właściwy, aby zapewnić wystarczająco dużo miejsca na dane dziennika. Wywoływany jest plan podstawowy Loggly Lite. Jest darmowy. W ramach tego planu możesz przesyłać 200 MB danych dziennika dziennie, a system zachowa każdy rekord przez siedem dni. Dalej jest abonament standardowy, który zapewnia limit przesyłania 1 GB dziennie i zachowuje rekordy przez 30 dni. Płatne plany pozwalają również korzystać z wielu kont użytkowników. Dzięki pakietowi Standard możesz mieć trzy konta użytkowników. Nazywa się najwyższy poziom Loggly Przedsiębiorstwo. Nie ma limitu liczby kont użytkowników, które można skonfigurować, a ceny różnią się w zależności od wymaganej pojemności przesyłania i wymaganego okresu przechowywania. Płatność za wszystkie płatne plany może być miesięczna lub roczna i bezpłatny 14-dniowy okres próbny jest dostępny w abonamencie standardowym.

3. Splunk

Splunk jest dobrze znanym - w ramach społeczności administratorów systemu - kompleksowym systemem zarządzania logami dla systemów Linux, Mac OS i Windows. Więcej niż tylko podstawowy system zarządzania logami, niektórzy uważają go za pełnoprawny system zapobiegania włamaniom. Produkt dostępny jest w trzech wersjach. Na górze jest Splunk Enterprise który jest bardziej systemem zarządzania siecią niż narzędziem do zarządzania logami. Ceny zaczynają się od 173 USD miesięcznie, a Ty zyskujesz wiele funkcji.

Istnieje również darmowa wersja Splunk który jest w zasadzie tym samym narzędziem bez niektórych jego najbardziej zaawansowanych funkcji. Zasadniczo ogranicza się do analizy pliku dziennika. Możesz podać dowolny ze standardowych plików dzienników lub wysłać dane na żywo przez plik do analizatora. Darmowa wersja ma kilka ograniczeń. Może na przykład mieć tylko jedno konto użytkownika, a jego przepustowość danych jest ograniczona do 500 MB dzienników. Funkcjonalność sortowania i filtrowania danych jest wbudowana w Splunk, co ułatwia rozwiązywanie problemów. Możesz używać tych funkcji do dzielenia rekordów dziennika według daty i zapisywania każdej grupy do nowych plików. W rzeczywistości ta funkcja jest bardzo elastyczna.

4. Serwer dziennika Nagios

Nagios jest najbardziej znany z doskonałego oprogramowania do monitorowania sieci, ale jego Serwer Logów jest równie interesujący. Produkt nazywa się po prostu Serwer dziennika Nagios i oferuje scentralizowane zarządzanie logami, monitorowanie i analizę. To narzędzie może znacznie uprościć proces wyszukiwania danych dziennika. Umożliwia także ustawianie powiadomień o potencjalnych zagrożeniach. Ponadto oprogramowanie ma wbudowaną wysoką dostępność i funkcję przełączania awaryjnego. Co więcej, jego proste kreatory konfiguracji źródła pomogą ci szybko skonfigurować serwery do wysyłania wszystkich danych dziennika i rozpocząć monitorowanie dzienników w ciągu kilku minut.

The Serwer dziennika Nagios umożliwia łatwą korelację zdarzeń dziennika na wszystkich serwerach za pomocą kilku kliknięć. System umożliwia przeglądanie danych dziennika w czasie rzeczywistym, co pozwala analizować i rozwiązywać problemy w miarę ich pojawiania się. Produkt cechuje się imponującą skalowalnością i będzie spełniał Twoje potrzeby w miarę rozwoju organizacji. Dodatkowy Serwer dziennika Nagios instancje można dodać do klastra monitorowania, co pozwala szybko zwiększyć moc, szybkość, pamięć i niezawodność.

Cena pojedynczego wystąpienia dla Serwer dziennika Nagios kosztuje 3 995 USD i chociaż wydaje się, że bezpłatna wersja próbna nie jest dostępna, bezpłatna wersja demonstracyjna online jest, jeśli wolisz rzucić okiem na produkt z pierwszej ręki.

5. Graylog

Następny na naszej liście jest produkt o nazwie Graylog. Produkt oferuje wiele interesujących funkcji. Narzędzie będzie analizować i wzbogacać dzienniki i dane zdarzeń z dowolnego źródła danych. Jego potoki przetwarzania pozwalają na pewną elastyczność w routingu, czarnej liście, modyfikowaniu i wzbogacaniu wiadomości w czasie rzeczywistym. Graylog przeszukuje terabajty danych dziennika, aby odkryć i przeanalizować ważne informacje. Zaawansowana składnia wyszukiwania pozwala znaleźć dokładnie to, czego szukasz.

Z Graylog, możesz tworzyć pulpity nawigacyjne do wizualizacji danych i obserwowania trendów w jednym centralnym miejscu. Możesz użyć statystyk polowych, szybkich wartości i wykresów ze strony wyników wyszukiwania, aby zanurkować w celu głębszej analizy danych. System ma również opcję wyzwalania akcji lub wysyłania powiadomień o zdarzeniach, takich jak nieudane próby logowania, wyjątki lub obniżenie wydajności.

Graylog to darmowy system oparty na plikach dziennika typu open source, który może zaoferować o wiele więcej funkcji niż tylko narzędzie do archiwizacji dzienników. Ten analizator logów ma graficzny interfejs użytkownika i może działać na Ubuntu, Debian, CentOS i SUSE Linux. Możesz również uruchomić go na maszynie wirtualnej w systemie Microsoft Windows i zainstalować system Graylog na Amazon AWS.

6. ManageEngine EventLog Analyzer

ManageEngine, inna popularna nazwa wśród administratora sieci, stanowi doskonały system zarządzania logami o nazwie ManageEngine EventLog Analyzer. Produkt będzie gromadzić, zarządzać, analizować, korelować i przeszukiwać dane dziennika z ponad 700 źródeł przy użyciu kombinacji gromadzenia dziennika bez agenta i opartego na agentach, a także importu dziennika.

Prędkość jest jednym z ManageEngine EventLog AnalyzerSiła Może przetwarzać dane dziennika z imponującą liczbą 25 000 dzienników / sekundę i wykrywać ataki w czasie rzeczywistym. Może także przeprowadzać szybką analizę kryminalistyczną, aby zmniejszyć wpływ naruszenia. Możliwości kontrolne systemu obejmują dzienniki urządzeń peryferyjnych sieci, działania użytkowników, zmiany kont serwera, dostęp użytkowników i inne, pomagając zaspokoić potrzeby kontroli bezpieczeństwa.

The ManageEngine EventLog Analyzer jest dostępny w bezpłatnej wersji z obniżoną liczbą funkcji, która obsługuje tylko 5 źródeł dziennika lub w wersji premium, która zaczyna się od 595 USD i różni się w zależności od liczby urządzeń i aplikacji. Dostępna jest również bezpłatna, w pełni funkcjonalna 30-dniowa wersja próbna.