Melhores práticas e sistemas de gerenciamento de logs

O gerenciamento de logs pode ser um empreendimento complexo. Não apenas uma organização típica gera uma tonelada delas, mas elas vêm de uma variedade de fontes, cada uma com um formato potencialmente diferente e contendo informações diferentes. Para colocar uma aparência de ordem em algo que pode se tornar rapidamente caótico, o gerenciamento de logs foi inventado. Hoje, estamos analisando as melhores práticas e sistemas de gerenciamento de logs. Esperamos que isso ajude você a ver claramente isso.

Começaremos com uma breve descrição do gerenciamento de logs. Em seguida, abordaremos as melhores práticas de gerenciamento de logs. Exploraremos se você deve usar um sistema pronto ou fazer você mesmo. Também veremos o que - e o que não - monitorar, seguido pela segurança e retenção de log, bem como pelas considerações de armazenamento. E antes de revisarmos alguns dos melhores sistemas de gerenciamento de logs, veremos os vários sistemas de gerenciamento tarefas, revisão e manutenção de logs, correlação de fontes de dados e alguma automação considerações.

Sobre o gerenciamento de logs

Simplesmente definido, um log é a documentação produzida automaticamente e com registro de data e hora de um evento relevante para um sistema específico. Quando um evento ocorre em um sistema, um log - ou entrada de log - é gerado. Sistemas diferentes irão gerar logs para diferentes eventos. Quanto ao gerenciamento de logs, geralmente se refere aos processos e políticas usadas para administrar e facilitar a geração, transmissão, análise e armazenamento de dados de log. O gerenciamento de logs geralmente implica um sistema centralizado no qual os logs de várias fontes são agregados.

O gerenciamento de logs não é apenas uma coleção de logs. Como o nome indica, a parte de gerenciamento é importante. Depois que os logs são recebidos pelo sistema de gerenciamento de logs, eles são "traduzidos" para um formato comum. É necessário, pois sistemas diferentes formatam os logs de maneira diferente e incluem dados diferentes em seus logs. Para facilitar a pesquisa e a correlação de eventos, um dos objetivos dos sistemas de gerenciamento de log é garantir que todas as entradas de log coletadas sejam armazenadas em um formato uniforme.

Falando sobre pesquisa e até correlação, esse é outro recurso importante da maioria dos sistemas de gerenciamento de logs. Os melhores sistemas de gerenciamento de logs apresentam um poderoso mecanismo de pesquisa. Permite que os administradores se concentrem exatamente no que é necessário. Além disso, a correlação de eventos agrupará automaticamente eventos relacionados, mesmo que sejam de fontes diferentes.

Práticas recomendadas para gerenciamento de logs

O gerenciamento de logs é um processo complexo, não há muito o que fazer. Com essa complexidade, corre-se o risco de fazer algo errado. Para evitar isso, compilamos uma lista de algumas das melhores práticas de gerenciamento de logs. Nosso objetivo é fornecer o máximo de informações possível para escolher o melhor sistema de gerenciamento de logs para as suas necessidades, mas, o mais importante, para tirar o máximo proveito dele.

Sistema de gerenciamento de log ou bricolage?

Por alguma razão, algumas pessoas acreditam que podem implementar manualmente um "sistema de gerenciamento de logs". Se você estiver entre essas pessoas, pare de se enganar imediatamente. Embora seja possível implementar alguma forma do gerenciamento de logs manualmente, os esforços necessários superam o necessário para implementar um verdadeiro sistema de gerenciamento de logs. E com várias ferramentas gratuitas e de código aberto disponíveis, o argumento do custo não é válido.

Quase sempre faz sentido usar uma solução de log gerenciada criada, suportada e dimensionada por um fornecedor respeitável, em vez de criar um sistema por conta própria. Com eles, tudo o que você normalmente precisa fazer é conectar suas fontes e destinos e está pronto para analisar os logs do sistema e aplicativos da maneira mais fácil. Você poderá gastar mais tempo monitorando e registrando em vez de construir sua infraestrutura de registro.

Saber o que monitorar (e o que não)

Saber o que registrar é importante, mas é ainda mais importante saber o que não registrar. Só porque você pode registrar algo não significa necessariamente que deveria. Registrar com muita frequência não faz nada além de dificultar a localização de dados que realmente importam. Além disso, o volume extra de logs adiciona complexidade e custo aos seus processos de armazenamento e gerenciamento de logs. É importante pensar com antecedência sobre o que será e o que não será registrado antes de começar a implementar uma plataforma de gerenciamento de logs. Isso evitará erros dispendiosos e permitirá que você dimensione melhor sua ferramenta.

Considere com cuidado o que você realmente precisa registrar. Os ambientes de produção críticos para conformidade ou para fins de auditoria provavelmente devem ser registrados. Os dados também devem ajudá-lo a solucionar problemas de desempenho, resolver problemas de experiência do usuário ou monitorar eventos relacionados à segurança.

Por outro lado, há coisas que você não precisa registrar, como, por exemplo, ambientes de teste que não são uma parte essencial de seus processos de negócios. Também existem dados que você escolherá não registrar por motivos de conformidade ou segurança. Por exemplo, se um usuário tiver ativado uma configuração de não rastrear, você não deverá registrar os dados associados a esse usuário.

Implementando uma política de segurança e retenção de logs

Os logs podem conter dados confidenciais. Por esse motivo, você precisa ter uma política de segurança de log. Será inestimável, por exemplo, garantir que dados confidenciais sejam anonimizados ou criptografados. Além disso, o transporte seguro de dados de log para sistemas de gerenciamento de log exige o uso de transporte criptografado usando TLS ou HTTPS no cliente e no lado do servidor.

Quanto a uma política de retenção, logs de diferentes origens ou sistemas podem exigir tempos de retenção diferentes. Por exemplo, os logs usados ​​principalmente para solução de problemas podem funcionar com tempos de retenção relativamente curtos, como alguns dias - ou até algumas horas. Por outro lado, os logs relacionados à segurança ou os logs de transações comerciais exigem tempos de retenção mais longos, geralmente para conformidade regulamentar. Considerando isso, sua política de retenção deve ser flexível e adaptável, dependendo da origem ou do tipo de log.

Considerações sobre armazenamento de log

Manter os dados do registro consome um valioso espaço de armazenamento. Ao planejar a capacidade de armazenamento de logs, é necessário considerar altos picos de carga. Na maioria das circunstâncias, a quantidade de log de dados por dia é relativamente constante. Depende principalmente da utilização do sistema e / ou do número de transações por dia. No entanto, quando algo dá errado, você pode esperar um crescimento acelerado no volume de log. Se o seu armazenamento de log tiver limites que você exceda, poderá perder os logs mais recentes. Para atenuar esse efeito, os melhores sistemas de gerenciamento de logs usam um buffer cíclico. Exclui os dados mais antigos primeiro antes de aplicar qualquer limite de armazenamento.

Além disso, o armazenamento de log deve ter sua própria política de segurança. A maioria dos atacantes tenta evitar ou excluir seus rastreamentos nos arquivos de log. Para evitar isso, você deve enviar os logs em tempo real para o armazenamento central de logs - de preferência fora do local - e protegê-los. Portanto, se um invasor tiver acesso aos logs externos da sua infraestrutura, as evidências permanecerão inalteradas.

Revendo e mantendo logs

A manutenção de logs é uma parte importante do gerenciamento de logs, se não a parte mais importante. Logs não mantidos podem levar a solução de problemas mais longa, riscos de exposição de dados e custos mais altos de armazenamento de log. Revise os logs gerados por seus sistemas e ajuste o nível de log às suas necessidades. Você deve considerar aspectos de usabilidade, operacionais e de segurança.

Tornar o nível do log configurável

Alguns logs do sistema são muito detalhados, enquanto outros não fornecem informações suficientes. Infelizmente, não há sempre algo que você possa fazer sobre isso. A maioria dos sistemas fornece níveis de log ajustáveis. Eles são a chave para configurar a verbosidade dos logs e garantir que o que precisa ser registrado e o que não é importante não seja.

Inspecione os logs de auditoria com frequência

Atuar em questões de segurança é crucial. É por isso que sempre se deve observar os logs. Se o seu sistema de gerenciamento de logs não possui esse recurso - muitos deles possuem, use ferramentas de segurança externas, como auditd ou OSSEC. Eles implementam análises de log em tempo real e geram logs de alerta apontando para possíveis problemas de segurança. Além disso, você deve definir alertas sobre eventos críticos para ser notificado rapidamente sobre qualquer atividade suspeita.

Correlacionar fontes de dados

O registro é apenas um elemento de uma estratégia de monitoramento global. Para um monitoramento verdadeiramente eficaz, você precisa complementar o gerenciamento de logs com outros tipos de monitoramento, como o monitoramento baseado em eventos, alertas e rastreio. Fazer isso é a melhor maneira de obter uma imagem completa do que está acontecendo a qualquer momento. Embora os logs sejam bons para fornecer detalhes de alta definição sobre problemas, isso é mais útil quando você se distancia para olhar a floresta antes de ampliar as árvores.

O gerenciamento de logs não funciona bem em um silo. Nada faz. Definitivamente, você deve complementá-lo com outros tipos de monitoramento, como monitoramento de rede, monitoramento de infraestrutura e muito mais. E em um mundo ideal, sua solução de monitoramento deve ser abrangente o suficiente para fornecer todas as suas informações de monitoramento em um só lugar. Como alternativa, ele pode se integrar a outras ferramentas que fornecem essas informações. O objetivo aqui é ter, na medida do possível, uma visão de painel único de todo o ambiente.

Gerenciamento e automação de logs

O gerenciamento de logs pode ajudá-lo a detectar problemas desde o início, economizando tempo e energia valiosos para você e sua equipe. Também pode ajudá-lo a encontrar oportunidades para automação. A maioria das ferramentas de gerenciamento de logs permite configurar alertas personalizados que são acionados quando algo acontece. Alguns até permitem configurar ações automatizadas a serem iniciadas quando esses alertas são acionados. Você deve usar o máximo de automação que sua ferramenta de gerenciamento permitir. Apesar do tempo gasto na configuração dessa automação, você descobrirá que valeu a pena na primeira vez em que encontrar um incidente.

As 6 principais ferramentas de gerenciamento de log

Percorremos o mercado tentando encontrar a melhor ferramenta de gerenciamento de logs. Tentamos montar uma lista que inclui vários tipos de ferramentas. Afinal, as necessidades de todos são diferentes e a melhor ferramenta para um não é necessariamente a melhor para outra pessoa.

SolarWinds é um nome comum no campo de ferramentas de administração de rede. Ele existe há cerca de duas décadas e nos trouxe algumas das melhores ferramentas de monitoramento de largura de banda e analisadores e coletores NetFlow. A empresa também é conhecida por publicar várias ferramentas gratuitas que atendem a algumas necessidades específicas de administradores de rede, como calculadora de sub-rede ou um servidor syslog.

Quando se trata de gerenciamento de logs, a oferta da empresa agora é chamada de Gerenciador de Eventos de Segurança SolarWinds. Foi recentemente renomeado de Gerente de Logs e Eventos, provavelmente para refletir melhor o fato de que isso é realmente muito mais do que apenas um sistema de gerenciamento de logs. Muitos de seus recursos avançados o colocam na faixa de informações de segurança e gerenciamento de eventos (SIEM). Possui, por exemplo, correlação de eventos em tempo real e correção em tempo real, dois recursos semelhantes ao SIEM.

• TESTE GRÁTIS: SolarWinds Security Event Manager
• Link para download oficial: https://www.solarwinds.com/security-event-manager/registration

Vamos dar uma olhada em alguns dos Gerenciador de Eventos de Segurança SolarWindsPrincipais características. A ferramenta pode eliminar ameaças rapidamente usando a detecção instantânea de atividades suspeitas e respostas automatizadas. Ele também pode executar investigação de eventos de segurança e forense para mitigação e conformidade. E por falar em conformidade, o produto permitirá que você a demonstre, graças aos relatórios comprovados por auditoria para HIPAA, PCI DSS e SOX, entre outros. Essa ferramenta também possui monitoramento de integridade de arquivos e monitoramento de dispositivos USB, dois recursos muito acima do que normalmente vemos nos sistemas de gerenciamento de logs.

Preços para o Gerenciador de Eventos de Segurança SolarWinds começam em US $ 4.585 para até 30 nós monitorados. É possível adquirir licenças para até 2500 nós, tornando o produto altamente escalável. E se você deseja verificar se o produto é adequado para você, uma avaliação gratuita de 30 dias com todos os recursos está disponível.

Em segundo lugar, temos outro ótimo produto chamado Papertrail, uma recente aquisição pela SolarWinds. Papertrail é um sistema popular de gerenciamento de logs baseado em nuvem. Ele agrega arquivos de log de uma ampla variedade de produtos populares como Apache ou MySQL, bem como aplicativos Ruby on Rails, diferentes serviços de hospedagem na nuvem e outros arquivos de log de texto padrão. Papertrail os usuários podem usar a interface de pesquisa baseada na Web ou as ferramentas de linha de comando para pesquisar esses arquivos e ajudar a diagnosticar erros e problemas de desempenho. A ferramenta também se integra com outros SolarWinds produtos como Librato e Geckoboard para representar graficamente os resultados.

• PLANO GRATUITO DISPONÍVEL: SolarWinds Papertrail
• Link para download oficial: https://papertrailapp.com/plans

Papertrail é um software como serviço (SaaS) baseado em nuvem que oferece SolarWinds. É fácil de implementar, usar e entender. E isso lhe dará visibilidade instantânea em todos os sistemas em minutos. A ferramenta possui um mecanismo de pesquisa muito eficaz que pode pesquisar logs armazenados e de streaming. E é extremamente rápido.

Papertrail está disponível em vários planos, incluindo um plano gratuito. No entanto, é um pouco limitado e permite apenas 100 MB de logs por mês. Será, no entanto, permita 16 GB de logs no primeiro mês, o que equivale a uma avaliação gratuita de 30 dias. Os planos pagos começam em US $ 7 / mês por 1 GB / mês de logs, 1 ano de arquivamento e 1 semana de índice. A filtragem de ruído permite que a ferramenta preserve os dados, não salvando logs inúteis.

3. Analisador ManageEngine EventLog

ManageEngine, outro nome comum com administradores de rede, cria um excelente sistema de gerenciamento de logs chamado Analisador ManageEngine EventLog. O produto coletará, gerenciará, analisará, correlacionará e pesquisará os dados de log de mais de 700 fontes usando uma combinação de coleta de logs sem agente e com base em agente, bem como importação de log.

A velocidade é um dos Analisador ManageEngine EventLogForça. Ele pode processar dados de log em impressionantes 25.000 logs / segundo e detectar ataques em tempo real. Ele também pode executar análises forenses rápidas para reduzir o impacto de uma violação. Os recursos de auditoria do sistema se estendem aos registros dos dispositivos de perímetro da rede, atividades do usuário, alterações na conta do servidor, acessos do usuário e muito mais, ajudando você a atender às necessidades de auditoria de segurança.

o Analisador ManageEngine EventLog está disponível em uma edição gratuita com redução de recursos que suporta apenas 5 fontes de log ou em uma edição premium que começa em US $ 595 e varia de acordo com o número de dispositivos e aplicativos. Também está disponível uma versão de avaliação gratuita de 30 dias com todos os recursos.

4. Ipswitch Log Management Suite

o Conjunto de Gerenciamento de Log é um produto de Ipswitch, a mesma empresa que nos trouxe WhatsUp Gold, uma ferramenta de monitoramento de rede imensamente popular. Esta é uma ferramenta automatizada que coleta, armazena, arquiva e salva logs do sistema, eventos do Windows e logs do W3C / IIC. Além disso, sua vigilância contínua de logs alertará você sobre qualquer atividade suspeita.

Eventos auditados frequentemente, como direitos de acesso e privilégios de arquivo, pasta e objeto, podem ser seguidos, gerar alertas conforme necessário e usado para criar relatórios de conformidade para HIPAA, SOX, FISMA, PCI, MiFID ou Basel II conformidade. A ferramenta também pode ajudá-lo a transformar seus dados brutos de log em dados significativos para gerentes ou equipes de segurança de TI, graças aos seus recursos automatizados de filtragem, correlação, relatório e conversão.

Informações sobre preços para o Conjunto de Gerenciamento de Log não está prontamente disponível em Ipswitch. O produto pode ser adquirido diretamente do editor ou através de IpswitchRede de revendedores. Uma versão de avaliação gratuita também está disponível.

5. Alert Logic Log Manager

Lógica de alertaO foco principal está na segurança e conformidade. E como o gerenciamento de logs está intimamente relacionado a ambos, não é surpresa que a empresa ofereça ao Alert Logic Log Manager. Essa ferramenta baseada em nuvem oferece gerenciamento de log automatizado e unificado em todos os seus ambientes. Ele coletará, agregará e pesquisará dados de log dos ativos de nuvem, servidor, aplicativo, segurança e rede.

o Alert Logic Log Manager inclui monitoramento e análise de logs, bem como revisão de logs, realizada ao vivo por analisadores humanos. Lógica de alertaOs especialistas da empresa alertarão você sobre possíveis atividades de ameaças 365 dias por ano. O serviço também ajudará a atender aos requisitos de revisão de logs do SOC 2, HIPAA e SOX e descarregará o ônus de revisar os logs e acompanhar os eventos, em conformidade com o PCI / DSS 10.6, 10.6.1, 10.6.3

Informações sobre preços para o Alert Logic Log Manager não está prontamente disponível na web e você precisará entrar em contato Lógica de alerta vendas para obter uma cotação formal. Uma avaliação gratuita também não está disponível, mas uma demonstração gratuita pode ser organizada entrando em contato com Lógica de alerta.

6. Nagios Log Server

Você já deve saber Nagios como um excelente pacote de monitoramento de rede. Oferecendo uma versão gratuita e de código aberto, bem como em uma versão comercial, o produto tem uma sólida reputação. Para gerenciamento de logs, Nagios‘Oferta é chamada de Nagios Log Server. É um pacote completo com gerenciamento, monitoramento e análise centralizados de logs. Essa ferramenta pode simplificar o processo de pesquisar seus dados de log. Ele também permite que você defina alertas para ser notificado sobre possíveis ameaças Além disso, o software possui alta disponibilidade e failover embutido nele. Seus assistentes de configuração fácil de origem podem ajudá-lo a configurar seus servidores e outros dispositivos para enviar seus dados de log para a plataforma, permitindo que você comece a monitorar seus logs em questão de minutos.

o Nagios Log Server fornece fácil correlação de eventos de log em todas as fontes de log em apenas alguns cliques. O sistema permitirá visualizar os dados do registro em tempo real, permitindo analisar e resolver problemas em tempo real, à medida que ocorrem. Outra força do produto é sua impressionante escalabilidade. Essa ferramenta continua atendendo às suas necessidades à medida que sua organização cresce. Se necessário, adicional Nagios Log Server instâncias podem ser adicionadas a um cluster de monitoramento, permitindo adicionar rapidamente mais energia, velocidade, armazenamento e confiabilidade.

Com todos esses recursos, seria de esperar um preço elevado. Não é esse o caso e o preço de instância única para o Nagios Log Server é um preço muito razoável de US $ 3 995 Apesar de não oferecer uma avaliação gratuita, está disponível uma demonstração on-line gratuita, se você preferir dar uma olhada em primeira mão no produto antes de tomar uma decisão de compra.