ログ管理分析サービスの開発事例
全てのログを一括管理・周辺サービスと自動連携

既存システムからの課題

ログには様々な種類(syslog・イベントログ・アプリケーション独自ログ)があり、用途により保存期間も異なります。全てのログをまとめて管理しつつ、ストレージ容量を極力制限しながら不要になったログから削除していく運用が求められていました。
また、保存されている時点ではすべてのログに対して条件に合致するログを抜き出し、様々なレポートや分析が必要でした。
データの検索にも非常に長時間を要し、リアルタイムな調査ができない環境でした。
主要なサービスのログはすべて取得しているが、他のサービスとの連携がなされていない為、アクションの自動化を要件としていました。

提案~開発概要

インフォサイエンス社の「Logstorage5.1.0」により、syslog・APログ・イベントログ・監査ログといった様々な形式のログをそのままの形で一括で取り込み、自由に検索・レポートするシステムを採用しました。また、課題となっていた検索時間の短縮も旧バージョンと比較し、大幅に短縮させることが可能となりました。
データストレージとして他のシステムのデータと別にQNAPのNASを採用し、専用ストレージとして構築しました。
ログの取得方法は、対照となる機器がログを生成するタイミングや、必要とされる頻度により、ツールによる収集・FTP転送・機器からの直送といった様々な手法で収集します。
ログを受け取るサーバは、日々のログ量の想定から8台での構成とし、対象機器との間にロードバランサを配置して、効率よく各収集用サーバに分散されるよう配置しました。
また、ログの転送に際し暗号化を実施して、セキュリティ要件を担保しています。
運用に必要なログを分析用として、定期的なレポートを作成し自動で出力します。
Logstorageに収集されるログに条件を付けて監視し、セキュリティサービスやテレワークサービスといった他のサービスと連携して、システム監視や後続システムの自動処理といった運用を実現しています。

導入効果

  • 効果①
    ログ全てを(保存年数・形式・種類を問わず)1つのシステム内に保存することにより、インシデント発生時のログ追跡が容易になりました。
    関連するログを、関連機器全てに対して時系列に検索できる為、事象の流れが一目でわかり、原因追究~対策の検討・実施に要する時間を大幅に短縮できました。
  • 効果②
    ログの保存時に、インデックス処理を自動的に実行するなど、Logstorageの機能を有効活用し、従来の検索に必要としていた時間を大幅に短縮できました。
  • 効果③
    全てのログを集中することにより、様々な他のサービスと連携して自動処理を実施することができました。
    システムの監視サービスやセキュリティサービスなど、24/365でリアルタイム性が求められる部分を自動化し、運用の軽減・確実性を強化しました。
  • 効果④
    ストレージ内での保存形式を月ごとファイル単位にすることで、不要となったログの削除を容易にし、保存する期間も柔軟に調整が可能になりました。
導入効果
  • プロジェクト期間
    提案~基本設計:2ヶ月
    ログ収集定義:3ヶ月
    詳細設計、運用設計~構築、試験:約3ヶ月
  • システム名
    ログ管理分析サービス
  • クライアント
    官公庁
  • サーバ構成
    コンソールサーバ:2台
    収集用LogGateサーバ:8台
    ログ格納用ストレージ:2台(RAID6+1 及び コールドスタンバイ)
  • サーバOS
    Windows Server 2012 R2
  • ログ取得対象
    NW機器:約200
    サーバ:約300
    推定ログ量:1日約600GB
  • 主要プロダクト
    インフォサイエンス社 「Logstorage Ver.5.1.0 」(Logstorage)
    QNAP 「TS-ECx80U R2 シリーズ」(QNAP)
  • リンク
    http://www.logstorage.com/index.html
    https://www.qnap.com/ja-jp/product/model.php?II=226