Найден способ борьбы с обманщиками бенчмарков

После того, как стало широко известно, что многие именитые производители планшетов и смартфонов на базе операционной системы Android обманывают тесты производительности устройств, авторы известного бенчмарка AnTuTu создали новое приложение под названием AnTuTu Benchmark X. Суть программы в том, что запускается она в фоновом режиме и маскируется от системы. Таким образом, устройство даже не подозревает, что его сканируют.

Разработчики отталкивались от того, что операционная система сканирует названия приложений, которые могут заниматься бенчмарком, и затем определяет, активен ли в данный момент тест. После оного происходит завышение тактовых частот видеоускорителя и центрального процессора. Причем завышение происходит до максимума, а это никогда не происходит при выполнении обычных приложений.

Таким образом, программы-бенчмарки выдавали ложную информацию пользователям об их устройствах, а, соответственно, те пользователи, что хоть немного понимали, что данные не могут быть реальными, начинали негативно относиться к приложениям и самим разработчикам. Так что в борьбе за честное имя и пришлось создавать «скрытое» приложение AnTuTu Benchmark X.

Что удивительно, но разгоревшийся скандал о том, что тесты производительности GALAXY S4 не соответствуют действительности, практически не возымел какого-либо ощутимого влияния на компанию Samsung.

Так, Lapplebi решила провести тесты GALAXY Note 3, который был оснащен процессором Qualcomm Snapdragon 800. Результаты внутренних тестов показали, что устройство намного производительнее аналогичного по «железу» LG G2.

Как затем выяснилось, как только запускался какой-либо бенчмарк, система завышала тактовые частоты всех ядер процессора до отметки в 2,26 ГГЦ. Если точнее, то завышение происходило до запуска теста. Если же бенчмарк не запускался, а запускалось какое-либо обычное приложение, то процессор использовал только одно ядро для работы с частотой в 300МГц. Умысел Samsung понять просто: увеличить прирост и оттого популярность своего устройства как минимум на 50%.

Для подтверждения своей теории создали модификацию программы Geekbench 3. Она в системе GALAXY Note 3 не была распознана как программа-бенчмарк. Результаты тестирования оказались несколько иными, а точнее — устройства Samsung GALAXY Note 3 и LG G2 стали почти одинаковыми в производительности.

Между тем, Samsung на уровне приложений исправили работу видеоускорителя, что и приводило к улучшенным показателям бенчмарков. В то же время следует отметить, что у компании есть права на описание поведений процессора для выполнения каждой программы. Но, с другой стороны, именно учитывая любовь многих пользователей тестировать устройства, получается не очень хорошая ситуация.

Однако Samsung не осталась в стороне от этой темы и, выступая перед журналистами, представители кампании заявили, что не ставили целью обман тестов производительности (а как вы думали, какая компания добровольно сознается в обмане любимых покупателей). По словам представителей Samsung, проблема таких результатов кроется в том, что ЦП и ГП связаны между собой и в автоматическом режиме начинают повышать частоты, если система распознает запуск графической программы. А именно это и «неверно понимается» как программами-бенчмарками, так и самими экспертами, которые проводят и создают тесты.

Но при этом вызывает однозначное подозрение файл BenchmarkBooster («разгонщик бенчмарков», если переводить дословно; странное совпадение названия и сути, не правда ли?), находящийся в системных папках Android на устройствах Samsung. Именно он и отвечает за работу процессоров во время запуска бенчмарков. Но сама корейская компания совершенно игнорирует всякие вопросы касательно этого файла.

Но зато представитель Samsung в России рассказал, что ввиду того, что устройства частенько греются и сильно потребляют энергию, компания навряд ли создаст патч, который превратит процессоры Exynos 5 Octa в восьмиядерные. Если это и произойдёт, то только в следующих моделях устройств Samsung GALAXY Note, о которых пока официально нет никакой информации.

Что же касается процессоров серии Exynos 5 Octa с восемью ядрами, то их работа была продемонстрирована Samsung вкупе с собственной технологией Heterogeneous Multi-Processing.