Существование баз данных уязвимостей, таких как CVS или NVD, провоцирует исследователей сравнивать количество обнаруженных дыр в разных продуктах, их качество и другие параметры, делая какие-то выводы о защищенности того или иного продукта. Однако, читая такие исследования и анализируя их результаты, каждый раз задаёшься вопросом: а если в продукте обнаружено много ошибок и все они устранены, то этот продукт более защищен или наоборот? Ведь если предположить, что качество программирования примерно одинаковое, и разработчики допустили примерно одинаковое число ошибок, то чем больше их найдено и устранено, тем меньше их осталось.

Большое число найденных ошибок также не может говорить и о качестве программирования. Дело в том, что большинство продуктов невозможно полностью проанализировать - у общественности нет доступа к их исходным кодам. Поэтому обнаруживаются ошибки, которые приводят к падению приложения или операционной системы, а это далеко не все возможные ошибки. Собственно, именно поэтому в проектах с открытыми кодами обнаруживается больше ошибок, но их уровень достаточно низкий. В то же время, в закрытых продуктах обнаруживаются в основном критические ошибки - их меньше, но они более заметны, поскольку приводят к падению приложения.

Собственно, такие же выводы сделала из анализа базы уязвимостей компания Sourcefire (частичный русский перевод), которая поддерживает разработку проектов с открытыми кодами систему обнаружения атак Snort и антивирус ClamAV. Правда, она анализировала данные об уязвимостях за 25 лет - с 1988 года, но выводы укладываются в приведённую выше логику. Кроме того, закрытые продукты разделяются по версиям, а OpenSource - почему-то оценивается целиком. В частности, все базы данных по уязвимостям отдельно учитывают версии Windows, хотя все уязвимости Linux всех версий сваливают в одну кучу. К тому же комплект поставки операционных систем также разный - в дистрибутивах Linux есть много дополнительных программ, таких как базы данных, офисные пакеты, игры и многое другое. Однако, если взять только ядро Linux, то оно имеет значительно меньшую функциональность, чем Windows. В частности, графическая оболочка в ядро Linux не входит, а из Windows её вырезать практически невозможно. В результате, прямое сравнение результатов по обнаруженным ошибкам говорит очень мало.

Более показательна скорость, с которой ошибки исправляются. И здесь хорошим примером является прошедший недавно конкурс Pwd2Own, на котором были взломаны три браузера Firefox, Chrome  и Internet Explorer, а также модули расширения от компаний Adobe и Oracle (Java). Во всех были обнаружены ошибки, позволившие взломать продукты, однако только Mozilla (производитель Firefox) и Google (производитель Chrome) исправили ошибки в течении первых суток, Microsoft, в соответствии со свои правилами, обновит свой браузер 12 марта (в течении недели), а о планах обновления модулей других компаний пока ни чего не известно. Причём в приведённых выше базах данных по уязвимостям частично есть данные по времени исправления, однако эти данные почему-то ни кто не анализирует.