Futuremark oszukuje?
wtorek, 05 sierpień 2008 - 11:05:46 | Nicolass
Co się stanie, gdy zmienimy nazwę VIA Nano na Intel Nano? PCMark 2005 powie nam, że mamy 50% szybszy pamięci! Czyżby PCMark 2005 miał zapisane na stałe, jakie funkcje oferują procesory?
Redakcja Ars Technica podczas testowania procesora VIA Nano i Intel Atom postanowiła skorzystać z jednej z funkcji, jaką udostępnia procesor VIA - możliwość zmiany parametry CPUID. Producenci tacy jak AMD i Intel na sztywno zaszywają takie informacje i nie dają możliwości zmiany ich - VIA jednak tego nie ogranicza. Dlatego też redaktorzy wspomnianego serwisu postanowili sprawdzić jak wpłynie na wyniki zmiana tego wpisu tak, by podszyć się pod produkt AMD i Intel.
Jakie było zaskoczenie, gdy w jednym z testów PCMark05 okazało się, że zmiana CPUID wpływa na uzyskiwany transfer pamięci. Postanowiono powtórzyć jeszcze raz test i za każdym razem wyniki były zwracane w granicach błędu, ale ciągle o tych samych proporcjach.
Prawdopodobną przyczyną jest moduł, który odpowiada za wykrywanie funkcji udostępnianych przez procesor. Po prostu moduł ten bazując na CPUID ma sztywno przypisane funkcje i, gdy dochodzi do sytuacji, kiedy pojawia się nowy produkt wspierające nowe funkcje, to... PCMark05 ich po prostu nie widzi.
Wiele serwisów podniosło krzyk i oskarżyło Futuremark o oszustwo na korzyść Intela, niemniej pamiętajmy, że PCMark05 to benchmark sprzed 3 lat! Takie błędy zdarzają się każdemu, a raczej nie chce się nam wierzyć, że Futuremark robi to celowo.
Poniżej wykres przedstawiający wspomniane różnice.
(...)
Źródło: serwis nvision.pl
Dzięki DAK ! ;-)
Ze swojej strony mogę dodać, że osoba, która kupuje taki czy inny produkt zakłada, że ten funkcjonuje oraz, że przez to reprezentuje sobą jakąś wartość. Tu jednak wszystko wskazuje na to, że cała sprawa ma drugie dno... ostatnio w poście pt. "Kapitalizm rodzi "junk science" ?" wspominałem o podobnym zagadnieniu gdy teoretycznie zdrowe mechanizmy rynkowe popadają w jakieś odczłowieczone patologie...
Przykro mi, ale jeśli cała sprawa faktycznie się tak przedstawia jak zostało to opisane przez serwis nvision.pl, to oprogramowanie to zamiast coś badać to albo niewiele bada, albo bada, ale "po swojemu" interpretuje wyniki... co jest dla mnie równoznaczne, że dany program jest bezwartościowy...
ps. dodam jeszcze, że mam na swoim koncie kilka programów do badania wydajności komputerów. Kiedyś na studiach gdy omawiałem swój program badający wydajność grafiki (z poziomu DOS) z szefem Instytutu Teleinformatyki i Automatyki to ten zaproponował mi abym pisał u niego pracę magisterską z tego. Był tylko inny problem... ja już studiowałem w innym instytucie :)
2 komentarze:
Witaj(cie),
O tak ten Twój program do testowania wydajności pamiętam, nawet chyba go gdzieś mam w starych archiwach - super sprawa, choć do dzisiejszego sprzętu (np. wielordzeniowości itd) należałoby go mocno usprawnić.
Wracając do tematu wątku -- to po diabła powstają takie programy, z tak zaawansowanymi graficznie animacjami w real-time. Nie wystarczyłoby napisać programiku, który po skompilowaniu zajmowałby ok 1MB i odczytywał dane: masz taki procesor to +1000 punktów więcej, masz taki podsystem graficzny to +5000, a masz TAKI i -6000 bo nam się on nie podoba itd, itp.
Wydaje mi się, że za tym wszystkim to zupełnie inne sprawy stoją (każdy wie jaki), heh cóż tak to już widocznie musi być.
Osobiście uważam też, że 90% (a może i więcej) ludzi poddających swoje komputery tej morderczemu dla jednostek liczących aplikacji nie zdaje sobie sprawy co testuje, jaka została przyjęta metryka, jakie wyciągnąć z tego wnioski itd, itp.
pozdrawiam
dak
Witaj!
> O tak ten Twój program do testowania wydajności pamiętam
To ja go Tobie pokazywałem ?? Kurcze ale mam sklerozę :( ;)
Faktycznie od tamtego czasu wiele się zmieniło, ale np. pamiętam, że przeprowadzał on też test CPU w operacjach na tablicach (czyli również szybki dostęp do dużych obszarów pamięci), który właśnie jest niezbędny do obsługi wielu obiektów zwanych często spirte lub bobs.
> Wracając do tematu wątku -- to po diabła powstają takie programy, z tak zaawansowanymi graficznie animacjami w real-time.
Programu nie widziałem, ale wydaje się że goście stawiają na "efekt" :D
... i być może na nic innego... :(
> Wydaje mi się, że za tym wszystkim to zupełnie inne sprawy stoją
Widocznie...
> Osobiście uważam też, że 90% (...)
Dokładnie ! Niestety jest tak wszędzie i niestety wynika to głównie z poziomu samych klientów. Ja np. kiedyś poszukiwałem dokładnych opisów parametrów monitorów LCD, bo planowałem zakup i firma NEC faktycznie najlepiej się sprawiała pod tym względem, ale również o wielu rzeczach dowiedzieć się nie mogłem, np. czy podawane wartości są średnie minimalne, maksymalne itp. A po kupieniu mojego pierwszego LCD okazało się że tak naprawdę przydało by się jeszcze wiele innych testów które jeszcze lepiej opisałyby jego faktyczne osiągi - ale NIKT takich nie robi !
Dla przykładu okazało się że mój monitor ma znaczną różnicę w reakcji pomiędzy subpixelami R a GB - co jest dobrze widoczne.
Niestety ale producenci oraz massmedia traktują nas jak idiotów, czyli przeciętniaków. Bo np. jak podają Tobie wyniki badań sondażowych to również nie podają najbardziej elementarnych danych odnośnie tego badania ! A przeciętny widz/czytacz stara się je interpretować mimo że nie ma pojęcia czy to co czyta faktycznie jest tego warte...
Pozdrawiam!:)
Prześlij komentarz