automaticruby + fluentd でウェブのあらゆる情報を構造化データとして収集する

Automatic Ruby v13.6.0 を 6/28 にリリースした。

Fluentd との連携

前回からの変更点の目玉としては Publish::Fluentd プラグインが標準添付となった。これにより Automatic Ruby で収集したあらゆるデータを Fluentd により構造化データとして扱うことができるようになる。ブログやウェブサイトの情報を集めて Fluentd 経由で Hadoop や Amazon S3 などに収集、その後 MapReduce するなどしてデータを分析するといったことも自由にできるようになる。その際には現在まで利用してきたプラグインなどの資産をそのまま生かすことができる。

こんな感じのレシピで Fluentd にデータを出力できる。

Rails 4.0 の対応と Ruby 1.8 のサポート終了

6/25 に Ruby on Rails バージョン 4.0 がリリースされた。Automatic Ruby は Rails アプリではないものの内部的に activesupport や activerecord を利用している。これらを 4.0 ベースのものへと更新した。また同時に Ruby 1.8 のサポートは終了し、今後は Ruby 1.9 以降のみ対応することとした。

その他の変更点

今回のリリースでも有志の協力により多数のプラグインが追加され、さまざまな改善がおこなわれている。詳細は ChangeLog およびソースコードを参照してほしい。ターミナルから以下のコマンドを投入すれば Fluentd 対応の最新版の Automatic Ruby がただちにインストールされる。