popularity-contest — это пакет, присутствующий в Debian и Ubuntu, и позволяющий собирать статистику об использовании пакетов. При запуске утилиты на сервер отправляется список используемых на машине пакетов и файлов в них, а также для каждого файла — atime и ctime. По умолчанию используются сервера popcon.debian.org и popcon.ubuntu.com в debian и ubuntu соответственно.

Посмотреть, что именно отправляется на сервер, вы можете, запустив команду popularity-contest. Её вывод и отправляется (сжатый gzip-ом, так что трафика не очень много).

В частности, не отправляется никакая информация о пользователе. Даже вместо имени хоста отправляется случайный хэш, по которому нельзя выяснить отправителя, если он сам не сообщит, что данный хэш принадлежит ему.

Мы хотим собрать статистику об использовании пакетов ubuntu пользователями в Магнитогорске и окрестностях, чтобы получить представление о том, проблемы в каких пакетах наиболее волнуют наших местных товарищей. Кроме того, такая статистика позволит, прежде чем задать вопрос по какому-то пакету, выяснить, пользуется ли кто-то этим пакетом вообще.

Некоторое отличие наших целей от целей popcon.ubuntu.com состоит в следующем:

1. Нам интересна прежде всего статистика по Магнитогорску, а не по всему миру;
2. Мы не так помешаны на privacy, как организаторы popcon.ubuntu.com. В частности, файлы с «сырыми» данными будут общедоступны, для того, чтобы любой желающий мог составить свои статистические срезы. Вопрос о том, следует ли делать общедоступной информацию о том, кто какие данные посылал, пока обсуждается. В любом случае, до тех пор, пока кто-то не сообщит, что определённый идентификатор хоста — его, мы этого не узнаем никак.

Сейчас настраивается сервер приёма и обработки статистики на lug-mgn.ru. Текущую (очень скромную) информацию можно посмотреть на http://popcon.lug-mgn.ru/.

Сервер статистики работает. Разработка функциональности продолжается.

Схема БД, в которую сейчас складываются присылаемые данные

Придумываем SQL-запросы, которые могут показать интересную статистику

О сервере статистики

Для того, чтобы ваш компьютер начал отправлять данные об используемых пакетах на наш сервер, следует:

1. Выполнить команду sudo dpkg-reconfigure popularity-contest и указать своё согласие на участие в сборе статистики;
2. Убедиться, что в файле /etc/popularity-contest.conf указаны следующие параметры:

  MY_HOSTID="{тут абракадабра — идентификатор вашего хоста}"
  PARTICIPATE="yes"
  USEHTTP="yes"
  DAY="5"
  SUBMITURLS="http://popcon.lug-mgn.ru/post"

Для того, чтобы выполнить отправку статистики прямо сейчас, а не когда придёт время выполнения назначенного задания, нужно дать вот такую команду:

  /usr/sbin/popularity-contest | /usr/share/popularity-contest/popcon-upload -u http://popcon.lug-mgn.ru/post