Sprostowanie IDG oraz TNS OBOP

—————————–

Sprostowanie IDG Poland

—————————–

Z większym niż zwykle zdziwieniem przeczytaliśmy kolejny komunikat dla prasy przygotowany przez bliską naszemu sercu konkurencję – miesięcznik „Chip” (http://media.netpr.pl/notatka_1670.html). Tym razem miesięcznikowi, a dokładniej – jego internetowej wersji www.chip.pl – przestały podobać się wyniki znanego badania prowadzonego przez TNS OBOP. Chodzi o tzw. ciągłe badanie ankietowe użytkowników Internetu – Interbus, które jest jednym z najstarszych badań tego typu na naszym rynku.

Co wywołało wzburzenie redakcji Chip.pl do tego stopnia, że użył najcięższych argumentów kwestionujących metodologię badania oraz jego wyniki? I dlaczego zrobił to dopiero teraz? Odpowiedź okazuje się banalnie prosta: Interbusowe wyniki „Chipa” nie są już tak dobre jak w przeszłości (współczujemy bardzo). To nawet zrozumiałe, wydawca nie może się z takim faktem pogodzić, podnosi jednak przy tym argumenty ujawniające brak wiedzy przy jednoczesnym pomieszaniu wielu podstawowych pojęć, znanych od lat na rynku internetowym.

Decydujemy się na opublikowanie niniejszego sprostowania z prostej przyczyny: badanie Interbus uwzględnia bowiem między innymi jedną z witryn wydawnictwa IDG, która bezpośrednio konkuruje z Chipem. Na wstępie wyjaśnienie kilku nieprawdziwych lub niepełnych informacji, które znalazły się w sprostowaniu Chipa:

Chip: Wyniki opublikowane przez TNS OBOP, zwłaszcza w obu ostatnich kategoriach, zupełnie nie odzwierciedlają danych dotyczących rzeczywistej oglądalności …

IDG: Badanie to nigdy nie miało takiego celu. Badanie nie odzwierciedla oglądalności witryn „liczonej” odsłonami (impressions), a jedynie rozpoznawalność witryn deklarowaną przez internautów. Choć w dalszej części swego oświadczenia „Chip” zarzuca OBOP-owi niezdefiniowanie pojęć pojawiających się w wynikach badania, sam nie precyzuje wielu wykorzystanych terminów – w tym fundamentalnego dla jego stanowiska pojęcia „rzeczywistej oglądalności”. Próba rekonstrukcji przyjętego toku rozumowania napotyka znaczne trudności. Prawdopodobnie chodzi tu o oglądalność witryny liczoną w odsłonach, za pomocą używanego przez „Chipa” programu służącego do analizy loga otrzymywanego z serwera WWW. Tak liczonego wskaźnika oglądalności nie można jednak porównywać z ankietowym badaniem OBOP-u i to z kilku powodów.

Pierwszym i podstawowym jest fakt, że liczba odsłon zależy wprost od rodzaju usług, które zostały uruchomione na witrynie oraz sposobu prezentacji zawartości. Przykładowo każdy artykuł może być podzielony na wiele części: jeśli więc internauta chce go przeczytać w całości, odsłania stronę tyle razy, na ile części podzielony jest tekst. Jeśli natomiast cały artykuł prezentowany jest na jednej stronie, czytelnik wykona tylko jedną odsłonę. Mimo że w pierwszym przypadku witryna uzyska więcej odsłon, zostaną one „zrobione” przez niezmienioną liczbę unikalnych użytkowników (unique users), która to wartość w przypadku analiz ruchu w serwisie online jest kwestią kluczową. OBOP bada rozpoznawalność witryn na wybranej losowo próbce internautów, a jak już podkreśliliśmy, nie przybywa ich wraz z liczbą odsłon.

„Chip” nadmienia co prawda, że ma również więcej unikatowych/unikalnych użytkowników (unique users). Szkoda jednak, że w tym przypadku nie podaje użytej przez siebie ich definicji. Nie wiemy zatem, co kryje się pod pojęciem „unikatowi użytkownicy Chipa”. Jeśli jednak jakimś cudem jest ich rzeczywiście tak wielu, że daje to „Chipowi” palmę pierwszeństwa, to sugerujemy powiększenie logo na stronie. Najwyraźniej bowiem wielu użytkowników jest nieświadomych, gdzie trafiło i co powinno w związku z tym „zeznać” w ankiecie OBOP-u. Prawdopodobnie do tej grupy zalicza się najbardziej oglądana (a właściwie należałoby tu napisać – „pobierana”) część „Chipa” – Download (generująca ok. 50% ruchu w serwisie). Świadomość wśród takich, nielojalnych użytkowników marki Chip może być niewielka – po prostu wpadają na Chip.pl po jakiś program i uciekają z serwisu (generując tzw. single access page), w ogóle nie przyglądając się pozostałym treściom serwisu czy choćby logotypowi Chip.

Podsumowując ten wątek: OBOP mierzy faktyczną rozpoznawalność witryn przez internautów. I tę wartość podaje w swoich raportach Interbusowych. Analizator loga natomiast pokazuje liczbę odsłon „zrobionych” przez użytkowników danej witryny. Nie znamy jednak również definicji odsłony (impression), jakiej używa „Chip”. Wbrew pozorom zastosowanie samego terminu odsłona nie jest tu rozstrzygające. Wyniki analiz logów, tj. odsłony (impressions), wizyty (visits), goście (unique visitors), są uzależnione od:

• oprogramowania stosowanego przez „Chipa”, a służącego do analizy logów serwera WWW,
• predefiniowanych w aplikacji i zdefiniowanych przez administratora oraz uruchomionych/aktywnych filtrów wykluczających z analiz boty, spidery, mechanizmy indeksujące zawartość witryn, programy służące do pobierania witryn na dysk twardy itd.,
• zaimplementowanej w programie definicji takich pojęć, jak impression, visit, unique visitors.

Chip: Statystyki za sierpień 2002 wskazują, że CHIP Online (www.chip.pl) jest największym wortalem z branży IT w Polsce…

IDG: Przede wszystkim, jeśli są to dane za sierpień, to może bardziej na miejscu byłoby zastosowanie czasu przeszłego „był”? 😉 Nieprecyzyjne jest jednak już samo sformułowanie – „największy wortal z branży IT”. Po pierwsze, to raczej z branży medialnej: Chip bowiem nie jest spółką IT, lecz firma medialną (a raczej jest nią wydawca Chipa – Vogel Burda Communications Sp. z o.o.). Jeśli zaś chodzi o przymiotnik określający rozmiar, to aż prosi się o doprecyzowanie, co pod takim sformułowaniem „Chip” rozumie. Możemy się jedynie zastanawiać; czyżby chodziło o wspomniane powyżej odsłony? Przecież one, jak wiemy, o niczym nie świadczą, a już na pewno nie o wielkości. Zastanówmy się więc, czy w ogóle można w Internecie wielkość mierzyć liczbą odsłon lub liczbą użytkowników? Na przykład wielkość (słowo wielkość używane oczywiście potocznie) biblioteki nie zależy od liczby jej czytelników, a od liczby zebranych dokumentów. Może więc Chipowi chodziło o wielkość jego zasobów? Nic jednak o tym bliżej nie wspomina, więc raczej pewnie nie.

Chip: Komputer Świat, którego średnia oglądalność to 2 000 000 odsłon miesięcznie (źródło: planner.idmnet.pl), PC World, legitymujący się około 1 200 000 odsłon miesięcznie i 226 000 unikatowych użytkowników (źródło: Biuletyn IDG za sierpień 2002).

IDG: O takim porównaniu można śmiało powiedzieć: groch z kapustą. Pomijając fakt, że nie znamy definicji zarówno odsłon jak i użytkowników żadnej ze wspomnianych witryn, to jeszcze do porównania wykorzystane są dane z adserwera Double Click, z którego za pośrednictwem sieci reklamowej IDM korzysta Komputer Świat, z danymi z analizatora loga Webtrends Enterprise Reporting Center v 5.0, z którego korzysta IDG. Tych danych nie sposób porównać bez sprawdzenia, jak są liczone. Różnice mogą być bowiem kolosalne. Ważną rolę odgrywają w tym przypadku różnego typu filtry, odsiewające sztuczne odsłony generowane przez boty czy spidery, które są programami „samodzielnie” wchodzącymi na witryny i również generującymi odsłony (najczęściej w celu indeksacji zasobów). Jest to tym bardziej istotne, że (według różnych szacunków) od 20 do 40% odsłon na witrynach internetowych generowanych jest właśnie przez komputery, a nie ludzi (w sytuacjach skrajnych może to być nawet więcej). Jeśli porównywane statystyki liczone są z różnymi listami botów w filtrach odsiewających „sztuczny” ruch, to nigdy nie będzie można dokładnie porównać ruchu bez audytu zrealizowanego przez niezależną instytucję. Najczęściej znacznie dokładniej odsiewają sztuczne odsłony komercyjne adserwery, ponieważ taka odsłona jest dla reklamodawcy wyjątkowo nieatrakcyjna. Chociaż i w wypadku adserwerów, ogólnoświatowa sieć adserwerów DART działająca w modelu ASP, z której korzysta IDG, czy Ad.net wykazuje ostrzejszą weryfikację sztucznych odsłon (ponieważ weryfikacja dotyczy całej sieci, jest całkowicie niezależna od witryn, a cały system jest audytowany przez PricewaterhouseCoopers), niż zakupione oraz zainstalowane w Polsce komercyjne wersje adserwera DoubleClick z których korzysta np. IDM (w których filtry usuwające sztuczne odsłony są uruchamiane przez operatora adserwera).

Porównanie zaprezentowane przez Chipa jest więc w tym przypadku absolutnie kuriozalne. Nie wiadomo też, jakiego okresu dotyczą dane Komputer Świata: o ile w przypadku PCWorld.pl „Chip” zaznacza, że chodzi o sierpień, to w przypadku Komputer Świata nie jest to jasne. Notabene, warto zwrócić uwagę na statystyki odsłon CHIP-a Online w październiku 2002 przedstawione przez samego Chipa: http://komunikaty.chip.pl/komunikat_47662.html Z poniższego, prostego wyliczenia wynika, że sumując odsłony wszystkich sekcji witryny otrzymujemy wynik o ponad 1 mln odsłon mniejszy niż deklarowana przez firmę liczba wszystkich odsłon całego serwisu Chip.

Chip: czterokrotnie większa liczba odsłon CHIP Online w stosunku do witryny komputerowej PC World Komputer nie znalazła odzwierciedlenia w wynikach opublikowanych przez TNS OBOP…

IDG: Cóż – sugerujemy nie ciąć tekstów na małe części i nieco zmniejszyć ruch na FTP. Odsłony nie przekładają się wprost proporcjonalnie na liczbę internautów na witrynie, a tym bardziej na deklarowaną (przez badanych w panelu OBOP-u internautów) rozpoznawalność marki czy intensywność korzystania z witryny. Zwłaszcza na takiej witrynie, w której najczęściej oglądaną sekcją jest ta z bezpłatnie udostępnianymi plikami do pobrania, czyli Download.

Chip: …jedynym w pełni obiektywnym sposobem mierzenia popularności witryn internetowych jest zliczanie liczby odsłon. Danymi tymi dysponują przecież wszystkie serwisy i portale, ponadto możliwa jest ich łatwa weryfikacja.

IDG: Dziękujemy miesięcznikowi Chip za podkreślenie tej jakże istotnej i innowacyjnej informacji 🙂 Jest to wyjątkowy absurd, ponieważ już u początków komercyjnego Internetu odsłona została uznana za całkowicie niemiarodajny wskaźnik! Pisząc obrazowo: to tak jakbyśmy czytelnictwo mierzyli liczbą przewracanych przez czytelników stron. Jak już wcześniej zaznaczyliśmy, liczbą odsłon można sterować praktycznie dowolnie i zupełnie nie jest ona odzwierciedleniem rzeczywistej oglądalności serwisu. Wystarczy również uruchomić darmowe skrzynki pocztowe, forum czy inne usługi „odsłonogenne”, a uzyskamy miliony odsłon. Czy bezpośrednio dzięki temu jednak wzrośnie liczba oraz lojalność czytelników? Oczywiście – nie. Jeśli chodzi o weryfikację, to nie tylko nie jest ona łatwa, a wręcz praktycznie niemożliwa (nie ma przykładów na świecie takich rankingów; najważniejsze badanie panelowe prowadzone przez Jupiter Media Metrix oraz Nielsen NetRating opierają się na rankingu unikalnej widowni (Unique Audience), który powstaje na podstawie zagregowanych danych z paneli umieszczanych w domu i w pracy użytkownika; dzięki temu nie powstaje powszechny jeszcze błąd w pomiarze – nierozpoznawanie użytkownika, który odwiedza daną witrynę raz z komputera domowego, a raz z pracy). Koszty audytu oraz ogromna liczba zmiennych, które można porównać, uniemożliwiają precyzyjne porównanie analiz logów. Jedynie zestawienie liczb unikalnych użytkowników, przy założeniu wspólnej definicji i metodologii, może pokazać zbliżone do rzeczywistości rankingi.

IDG Podsumowanie: Kończąc te wyjaśnienia, chcieliśmy jeszcze zaznaczyć, dlaczego je publikujemy. Właściwie od początków Internetu w Polsce staramy się i (na szczęście nie tylko my), żeby było to medium coraz lepiej poznane i wiedza na jego temat była powszechna. Niestety od jakiegoś czasu wiedza ta zanika i spotykamy się z kuriozalnymi tekstami cofającymi cały rynek o kilka lat wstecz. W takich wypadkach po prostu musimy reagować – wszystkich czytelników przepraszamy – ta dyskusja powinna odbyć się trzy lata temu…

Definicje

Unikalny odwiedzający/użytkownik (ang. Unique User) – osoba (a właściwie rozpoznawane jest tu IP komputera) korzystająca w określonym czasie z danej witryny. W większości programów do analizy logów predefiniowany okres to jeden miesiąc.

Wizyta (ang. Visit) – interakcja użytkownika z witryną w określonym czasie. Zwykle za koniec wizyty uważa się brak odwołania do nowych stron przez co najmniej 30 minut.

Odsłona – pojedyncze wyświetlenie pliku html, asp.

Adserwer (serwer reklamowy) – oprogramowanie służące do zarządzania reklamami, umożliwiające planowanie, emitowanie i raportowanie wyników kampanii online. Zarządzanie to przebiega najczęściej niezależnie od procesu zarządzania zawartością witryny. Zaawansowane adserwery pozwalają dynamicznie rozmieszczać reklamy w celu zwiększenia skuteczności kampanii i mają bardzo ostre reguły emitowania reklam, nie pozwalające na pokazanie reklamy nie-człowiekowi (tylko np. botom, spiderom czy innym programom, najczęściej indeksującym zawartość witryny).

Analizator logów – oprogramowanie służące do analizy (przeliczania) logów wygenerowanych przez serwer WWW obsługujący odpowiednią witrynę. Aplikacje tego typu umożliwiają badanie ruchu użytkowników na witrynie, m.in. odsłony (jakie strony użytkownik odwiedził – pojedyncze, ścieżki, miejsca wejścia/wyjścia), wizyty (data, czas, częstotliwość), unikalni użytkownicy (jednokrotny, powracający, stali), informacje techniczne o komputerze użytkownika oraz działaniu serwera WWW.

IDG Poland S.A.

IDG Poland SA to polski oddział największego na świecie międzynarodowego koncernu wydawniczego w branży komputerowej – International Data Group – wydającego 300 czasopism w 85 krajach świata.

W Polsce IDG Poland SA wydaje tygodnik COMPUTERWORLD wraz z Raportami COMPUTERWORLD (między innymi COMPUTERWORLD TOP 200. Polski Rynek Informatyczny i Telekomunikacyjny), magazyn kadry zarządzającej – CXO oraz miesięczniki PC WORLD KOMPUTER, NETWORLD, DIGIT, Kino Domowe – Magazyn DVD. Nasz oddział zajmuje się również organizacją konferencji i seminariów technicznych. IDG Poland jest także twórcą pierwszego polskiego portalu IT – IDG.pl (www.idg.pl) oraz 11 serwisów internetowych poświęconych technologii informatycznej.

—————————–

Sprostowanie TNS OBOP 

—————————–

W nawiązaniu do listu firmy Vogel Burda Communications Sp. z o.o. opublikowanego w dziennym biuletynie Media i Marketing Polska dnia 14.11.2002 zawierającego nie odpowiadające stanowi faktycznemu informacje, zgodnie z art. 32 Ustawy Prawo Prasowe z dnia 26 stycznia 1984 r., zwracamy się z prośbą o opublikowanie poniższej odpowiedzi.

Zdziwienie i rosnące zaciekawienie towarzyszyło lekturze oświadczenia firmy Vogel Burda Communications Sp. z o.o. w dziennym biuletynie Media i Marketing Polska dnia 14.11.2002 na temat noty prasowej prezentującej wybrane wyniki badania Interbus.

Aby spróbować wyjaśnić nie najwyższą pozycję serwisu chip.pl w kategorii „korzystanie najczęściej” oraz „korzystanie w miesiącu poprzedzającym badanie”, Vogel postanowił zanegować całe badanie. Argumenty użyte w wydanym oświadczeniu świadczą o tym, że autor (autorzy) nie bardzo wie o czym pisze, a już z całą pewnością nie zna metodologii badań kwestionariuszowych. Dlatego postanowiliśmy wyjaśnić kilka spraw i jednocześnie przekazać podstawowe informacje merytoryczne, które naszym zdaniem komentujący badania wiedzieć powinien.

1. Badanie Interbus jest badaniem kwestionariuszowym, w którym otrzymujemy informacje deklarowane przez respondentów. Nie można ich porównywać z liczbą odsłon witryny.
2. Pyta Vogel jaka była rzeczywista próba. Na każdej stronie pod tytułem wykresu znajduje się podana liczebność. W przypadku pytania o znajomość spontaniczną i wspomaganą było to 410 internautów, w przypadku pytań o korzystanie – 401 internautów. Przy czym dostęp do Internetu ma 26% populacji a nie 20% jak twierdzi w oświadczeniu Vogel. Dowiedzieć się o tym można z ostatniej strony informacji prasowej gdzie informacja ta jest ilustrowana prostym wykresem.
3. Nazywana przez Vogel „raportem” informacja prasowa zawiera tylko kilka podstawowych danych. Taka jest idea tego komunikatu prasowego. Całość wyników badania rzeczywiście znajduje się w raporcie, razem z pogłębionymi analizami, wykresami, tabelami i dołączoną tabelą błędów statystycznych w rozbiciu na frakcje. Do komunikatu prasowego nie dodajemy tabeli z błędami.
4. Vogel pyta, kim jest internauta. Zostało to powiedziane na ostatniej stronie informacji prasowej. Można tylko jeszcze raz zacytować: „jest to osoba korzystająca z Internetu co najmniej raz w miesiącu”. Jest to definicja zgodna ze standardem IAB. Użytkownik Internetu jest to osoba korzystająca z tego medium. Użytkownik może być internautą ale nie musi –zgadnijmy w jakiej sytuacji? – otóż wtedy, gdy korzysta z Internetu rzadziej niż raz w miesiącu. Osoba mająca dostęp do Internetu to jest każdy, kto ma możliwość dostępu do tego medium, niezależnie od miejsca.
5. Użytkownik unikatowy natomiast to taki, który jest identyfikowany przez serwer i przydzielana jest mu o nim informacja (wg. International Federation of Audit Bureaux of Circulations). Pomiarem unikatowych użytkowników nie zajmują się badania kwestionariuszowe, o czym powszechnie wiadomo. Można badać to dzięki statystykom serwera lub poprzez badanie site-centric. Dlatego nie konia, ale stajnię koni z rzędem temu, kto policzy dzięki badaniu kwestionariuszowemu, przy zastosowaniu wywiadu bezpośredniego procentowy udział unikatowych użytkowników w Polsce – a tak chce Vogel.
6. Termin „korzystanie z witryny” zakłada celowe wejście na daną stronę w konkretnych celach stawianych sobie przez internautę. Jest to działanie świadome. W badaniu Interbus nie pytamy respondenta o „przeglądanie”, czy „odwiedzanie” ponieważ naszym zdaniem sugerować to może między innymi przypadkowość wejścia na stronę.
7. Zdaniem Vogel Burda brakuje w nocie prasowej informacji o tym kogo ankietowano. Otóż znów Vogel musi zapoznać się z ostatnią stroną naszego komunikatu. Zostało tam dokładnie napisane, kto był respondentem: reprezentatywna dla populacji Polski próba Polaków w wieku 15 lat i więcej. Przedstawione natomiast w wykresach dane dotyczą polskich internautów wyłonionych z próby w trakcie wywiadu; tak też każdy z wykresów jest opisany.
8. Vogel zastanawia się czy za pomocą tego rodzaju metodologii „można opracować wiarygodne i oddające stan faktyczny badania statystyczne”. Tak się składa, że wywiad bezpośredni, przeprowadzany przy wykorzystaniu kwestionariusza jest techniką stosowaną w badaniach sondażowych na świecie z powodzeniem od lat kilkudziesięciu. Uzyskiwane w ten sposób dane – w badaniach przeprowadzanych na różnego rodzaju próbach – są uznawane za rzetelne i wiarygodne a firmy przy podejmowaniu decyzji biznesowych tego rodzaju badania przeprowadzają.
9. Vogel pisze, że nasze dane są „kontrowersyjne”. Dla nas, kontrowersyjne jest to, że tak renomowany wydawca wysyła oświadczenie w którym zawarte uwagi świadczą o kompletnym materii pomieszaniu oraz braku wiedzy i kompetencji autorów.

Taylor Nelson Sofres OBOP:

TNS OBOP jest jedną z wiodących firm badawczych działających na rynku  polskim. W 1998 r. OBOP został włączony w struktury międzynarodowej grupy Taylor Nelson Sofres. TNS OBOP realizuje badania ilościowe i jakościowe. Od 1997 r. prowadzi ogólnopolski elektroniczny pomiar widowni telewizyjnej (tzw. telemetria). Zgodnie ze strategią TNS Worldwide, TNS OBOP rozwija sektory badawcze, jak również wprowadza na polski rynek licencjonowane produkty  sieci TNS. Należą do nich m. in.: BuyTest, Conversion Model, NeedScope, FoQus2 oraz badania trackingowe w systemie Miriad.

Więcej informacji na temat TNS OBOP można znaleźć na stronie: www.obop.pl