Можно ли доверять DxOMark?
Французская компания DxO Labs известна как разработчик и производитель оборудования и программного обеспечения для измерения и оценки производительности фотографического оборудования, а также как автор неплохого RAW-конвертера DxO Optics Pro. Кроме того, DxO Labs регулярно публикует некоторые результаты своих исследований под видом знаменитого рейтинга DxOMark.
DxOMark представляет собой совокупность метрик, так или иначе характеризующих ключевые параметры цифровых фотоаппаратов и фотографических объективов. Строго говоря, анализу в данном случае подвергаются лишь те параметры, которые непосредственно влияют на качество изображения. Иными словами, DxOMark описывает свойства фотоматрицы и оптического блока, но никоим образом не учитывает надёжность, функциональность, эргономичность и прочие особенности фототехники, хоть и немаловажные для фотографа, но либо вовсе не влияющие на качество изображения, либо оказывающие на него только косвенное влияние.
Сами авторы рейтинга позицируют DxOMark как объективную, независимую, всеобъемлющую базу данных, являющуюся проверенным отраслевым стандартом. Таковы мечты руководства DxO Labs. Соответствуют ли они реальности? Не вполне.
Спору нет, рейтинг DxOMark достаточно удобен при сравнении различных камер, но пользоваться им следует с осторожностью и, я бы даже сказал, с некоторой долей скепсиса. И уж во всяком случае, нужно тщательно избегать категорических суждений вроде: «Камера А лучше камеры Б, поскольку рейтинг DxOMark для камеры А составляет 83 пункта, а для камеры Б – только 80». Вы уверены, что разница в три пункта достаточно существенна для того, чтобы признать одну камеру лучше другой даже при прочих равных условиях (которые в действительности никогда не бывают абсолютно равными)? Кроме того, под рейтингом DxOMark подразумевается обычно «Sensor Overal Score», т.е. общий рейтинг матрицы, который на самом деле является весьма спорной и неоднозначной величиной. Кто-нибудь за пределами DxO Labs знает, как он в действительности рассчитывается и каков его, так сказать, физический смысл?
Дело в том, что Sensor Overall Score – это искусственный интегральный показатель, призванный представить обширный массив тестовых данных в виде одной единственной цифры. На практике это возможно лишь при большом количестве допущений и неточностей.
Чтобы не быть голословным, проиллюстрирую неоднозначность общего рейтинга на конкретном примере. Выберем для сравнения две камеры: Nikon D4s и Nikon D810. Общий рейтинг для D4s составляет 89 попугаев условных единиц, а для D810 – 97. Разница значительная – почти 9%. Означает ли это, что по качеству изображения D810 безусловно опережает D4s? Давайте разберёмся. Нажмём на View Comparison, чтобы показать детальное сравнение и откроем вкладку Measurments. Эта вкладка хороша тем, что позволяет ознакомиться с результатами конкретных измерений, поддающимися точному численному выражению. О методиках измерения можно вкратце почитать там же, на сайте DxOMark. В настоящий момент нас интересует динамический диапазон рассматриваемых камер.
На графике Dynamic Range хорошо видно, как по мере роста чувствительности ISO динамический диапазон матрицы сужается. Впрочем, это как раз таки нас удивлять не должно. Куда интереснее то, что зависимость динамического диапазона от ISO нелинейна и различается от матрицы к матрице. Это обусловлено как свойствами самих матриц, так и различием в алгоритмах шумоподавления, предусиления, оцифровки и т.п. В зависимости от предназначения камеры, электронная обвязка матрицы может быть настроена по-разному, и сравнение Nikon D4s и Nikon D810 это наглядно демонстрирует.
Мы видим, что максимальный динамический диапазон (достигаемый, как известно, при базовом значении ISO) у D4s составляет 13,3 EV (при ISO 100), а у D810 – 14,8 EV (при ISO 64), т.е. на полторы ступени больше. Даже если мы поднимем ISO у D810 до 100, чтобы играть на равных с D4s, для которой ISO 100 является минимальным значением, то D810 всё равно будет опережать D4s на 1,1 EV. Что это означает на практике? Что при хорошем освещении (когда у нас есть возможность снимать на минимальных значениях ISO) D810 позволяет получать несколько более чистые снимки, отличающиеся лучшей детализацией в тенях и допускающие более интенсивную постобработку. Полторы ступени – это не слишком большая разница, но всё же достаточная, чтобы её можно было заметить невооружённым глазом.
Но что происходит с ростом ISO? Оказывается, графики пересекаются, и на ISO 800 D4s уже заметно опережает D810 по величине динамического диапазона, а при ISO 6400 разница достигает 1 EV в пользу D4s. Т.е. при съёмке на высоких значениях ISO D4s получает объективное преимущество перед D810. И это закономерно. Ведь D4s – репортажная камера, которой большую часть времени приходится работать именно в условиях недостаточной освещённости, и потому неудивительно, что её сенсор оптимизирован для работы на высоких ISO. В то же время D810 больше ориентирована на студийную или пейзажную съёмку, т.е. на те ситуации, которые позволяют использовать минимальное значение ISO.
Словом, в идеальных условиях D810 позволяет добиться лучшего качества изображения, нежели D4s и потому Sensor Overall Score у неё выше, но в условиях далёких от идеала (а репортажные камеры редко приобретаются для работы в идеальных условиях) D4s кладёт D810 на лопатки. И это не принимая в расчёт более высокую скорость серийной съёмки, лучшую защиту от непогоды и в целом более надёжную конструкцию D4s. Т.е. та или иная камера оказывается лучше или хуже в глазах конкретного фотографа в зависимости от тех фотографических задач, которые он собирается с её помощью решать. Например, для фотографа-пейзажиста абсолютное качество изображения играет первостепенную роль, а тяжёлая и дорогая репортажная камера будет для него скорее обузой, чем подспорьем. Напротив, какой-нибудь спортивный фоторепортёр – душу готов продать за высокую скорострельность и возможность снимать на запредельных значениях ISO. Каждому своё.
Кстати, считаю своим долгом напомнить читателям, что динамический диапазон, измеряемый DxO Labs – это т.н. эффективный или технический динамический диапазон, т.е. отношение между порогом насыщения и порогом чувствительности сенсора. Полезный же динамический диапазон не имеет общепринятого определения, но он в любом случае на несколько ступеней меньше технического.
***
Аналогичным образом дело обстоит и с объективами. Сами результаты тестов вполне достоверны, и их можно использовать для сравнения различных моделей между собой, но интерпретация этих результатов требует вдумчивого и критичного подхода. Во-первых, как и в случае с камерами не стоит слепо доверять общему рейтингу, методика расчёта которого держится в секрете, а вместо этого лучше обратиться к конкретным измерениям. Во-вторых, следует помнить, что условия, в которых DxO Labs проводят свои тесты, не вполне соответствую реальным условиям использования объективов.
Например, многие широкоугольные объективы (вроде Canon 20mm f/2.8 USM) обладают выраженной кривизной поля изображения. При съёмке плоской тестовой мишени с близкого расстояния (а большинство тестов проводится именно так) кривизна поля очень заметна и объектив получает незаслуженно низкий рейтинг по резкости. При съёмке же реальных трёхмерных сцен кривизна поля не только не портит картинку, но иногда даже превращается в достоинство объектива, позволяя с одинаковой резкостью запечатлевать объекты разных планов.
Или другой пример. Популярный среди фотоохотников телезум Nikon 200-400mm f/4G VR II имеет достаточно высокий рейтинг резкости, и этот объектив действительно резок… Но лишь на близких дистанциях (а тестовые таблицы снимают как раз таки вблизи). На больших же расстояниях резкость заметно снижается, и Nikon 200-400 начинает проигрывать по качеству изображения некоторым более лёгким и дешёвым моделям. Не всякого фотоохотника устроит близорукий объектив, а ведь рейтинги DxO этот прискорбный факт никак не отражают!
***
Подытоживая можно сказать, что DxOMark – полезный и удобный инструмент для сравнения фотокамер и объективов, но пользоваться им нужно с осмотрительностью, отдавая себе отчёт в том, что стоит за цифрами, публикуемыми DxO Labs.
Благодарю за внимание.
Василий А.
Post scriptum
Если статья оказалась для вас полезной и познавательной, вы можете любезно поддержать проект, внеся вклад в его развитие. Если же статья вам не понравилась, но у вас есть мысли о том, как сделать её лучше, ваша критика будет принята с не меньшей благодарностью (хотя и с меньшим удовольствием).
Не забывайте о том, что данная статья является объектом авторского права. Перепечатка и цитирование допустимы в некоммерческих целях при наличии действующей ссылки на первоисточник, причём используемый текст не должен ни коим образом искажаться или модифицироваться.