Kieno reitingais turėtumėte pasitikėti? IMDB, supuvę pomidorai, „Metacritic“ ar „Fandango“?

Duomenų mokslininkas tiria

Ar turėtumėte žiūrėti filmą? Na, reikia atsižvelgti į daugybę veiksnių, tokių kaip režisierius, aktoriai ir filmo biudžetas. Daugelis iš mūsų sprendimą priima remdamiesi apžvalga, trumpu anonsu arba tiesiog patikrindami filmo įvertinimą.

Yra keletas svarių priežasčių, kodėl norėtumėte vengti apžvalgų ar žiūrėti anonsą, nors jos teikia daug daugiau informacijos nei įvertinimas.

Pirma, galbūt norėsite visiškai išvengti spoilerių, kad ir kokie maži jie būtų. Aš suprantu tai!

Antra, gali būti, kad norite, kad to filmo žiūrėjimas būtų neįtakojamas. Paprastai tai taikoma tik apžvalgoms, kurios yra apibarstytos rėmeliais, pvz., „Tai yra filmas apie visatos sudėtingumą“ arba „šis filmas tikrai nėra apie meilę“. Kai šie kadrai bus užkoduoti jūsų trumpalaikėje atmintyje, tikrai sunku juos sutrukdyti trukdyti jūsų pačių filmams.

Dar viena gera priežastis yra ta, kad jei esate pavargęs ar skubate, galbūt nenorite skaityti apžvalgos, jau nekalbant apie 2 minučių anonsą.

Taigi skaitmeninis filmų įvertinimas, atrodo, yra geras sprendimas daugelyje situacijų, nemažai žmonių.

Šiuo straipsniu siekiama rekomenduoti vieną svetainę, kad greitai gautumėte tikslų filmo įvertinimą, ir siūlo išsamią, duomenimis pagrįstą argumentaciją.

„Geriausio“ kriterijai

Tokios rekomendacijos pateikimas yra panašus į pasakymą „čia geriausia ieškoti filmo įvertinimo“, kuris yra vertinamasis teiginys, paremtas keletu kriterijų, naudojamų siekiant nustatyti, kas yra geriau, kas blogiau ar blogiau ir kas yra geriausia , tokiu atveju. Savo rekomendacijai naudosiu vieną vienintelį kriterijų: normalų pasiskirstymą.

Geriausia vieta ieškoti filmo įvertinimo yra pamatyti, kieno reitingai yra pasiskirstę pagal modelį, kuris labiausiai panašus arba yra identiškas įprasto pasiskirstymo modeliui, kuris yra toks: atsižvelgiant į tam tikru intervalu esančių verčių rinkinį , dauguma jų yra jo viduryje, o keli kiti - tuo intervalu. Paprastai taip atrodo įprastas (dar vadinamas Gauso) paskirstymas:

Koks šio kriterijaus pagrindas? Na, iš savo patirties, susidedančios iš kelių šimtų filmų, galiu pasakyti, kad mačiau:

  • keletą puikių, kuriuos žiūrėjau kelis kartus
  • pora, kuri buvo tikrai siaubinga ir privertė apgailestauti, praleistą juos stebint
  • ir visa krūva vidutiniškų, kurių daugumos net nebeatsimenu siužeto.

Manau, kad dauguma žmonių - nesvarbu, ar kritikai, ar sinefilai, ar tiesiog įprasti kino žiūrovai - patyrė panašią patirtį.

Jei filmų įvertinimai iš tikrųjų išreiškia filmo kokybę, turėtume matyti tą patį modelį abiem.

Atsižvelgiant į tai, kad dauguma mūsų vertina didžiąją dalį filmų kaip vidutinės kokybės, analizuodami filmų reitingus turėtume matyti tą patį modelį. Panaši logika galioja ir blogiems bei geriems filmams.

Jei dar nesate įsitikinę, kad tarp modelių turėtų būti tokia atitiktis, pagalvokite apie vieno filmo įvertinimų pasiskirstymą. Kadangi daugelis žmonių vertina filmą, tai nėra tikėjimo šuolis manyti, kad dažniausiai jų bus daug su panašiomis nuostatomis. Jie paprastai sutiks, kad filmas yra blogas, vidutinis arba geras (vėliau kiekybiškai įvertinsiu šias kokybines vertes). Taip pat bus keletas kitų, kurie įvertins filmą viena iš kitų dviejų kokybinių vertybių.

Jei vizualizuotume visų atskirų filmų įvertinimų pasiskirstymą, greičiausiai pamatytume, kad vienoje iš sričių susiformuoja vienas klasteris, atitinkantis žemą, vidutinį ar aukštą įvertinimą.

Jei dauguma filmų laikomi vidutiniais, didžiausia tikimybė atsirasti aplink vidutinį plotą, o kitų dviejų grupių tikimybė mažesnė (bet vis tiek reikšminga). (Atkreipkite dėmesį, kad visas šias tikimybes iš esmės galima įvertinti kiekybiškai, tačiau tam reikėtų daug duomenų ir būtų galimybė šį straipsnį paversti knyga.)

Mažiausiai tikėtina, kad būtų vienodas pasiskirstymas, kuriame nebūtų klasterių, o žmonių pageidavimai yra padalijami beveik vienodai į tris kokybines vertybes.

Atsižvelgiant į šias tikimybes, pakankamai didelio filmų pavyzdžio įvertinimų pasiskirstymas turėtų būti toks, kad vidutiniame plote būtų bukas klasteris, kurį ribotų mažėjančio aukščio (dažnio) juostos, panašios į įprastą paskirstymą.

Jei visa tai jums sunku suprasti, apsvarstykite šią iliustraciją:

IMDB, supuvę pomidorai, „Fandango“ ar „Metacritic“?

Dabar, kai turime kriterijų, kurį galime naudoti, pasinerkime į duomenis.

Yra daugybė svetainių, kurios pateikia savo filmų reitingus. Aš pasirinkau tik keturis, daugiausia atsižvelgdamas į jų populiarumą, kad galėčiau gauti filmų įvertinimus su priimtinu balsų skaičiumi. Laimingi laimėtojai yra IMDB, „Fandango“, „Puvę pomidorai“ ir „Metacritic“.

Per pastaruosius dvejus aš sutelktas tik į jų iconic reitingų tipų - būtent Tomatometer , ir metascore -daugiausia todėl, kad jie yra geriau matomi kiekvienos svetainės vartotojui (tai reiškia, kad juos greičiau surasti). Jais taip pat dalijamasi kitose dviejose svetainėse (metascore dalijamasi IMDB, o tomatometer - „Fandango“). Be šių žymių įvertinimų, abiejose svetainėse taip pat yra rečiau vertinamas reitingų tipas, prie kurio prisidėti gali tik vartotojai.

Aš surinkau kai kurių labiausiai balsavusių ir peržiūrėtų filmų įvertinimus 2016 ir 2017 m. Išvalytame duomenų rinkinyje yra 214 filmų įvertinimai, kuriuos galima atsisiųsti iš šios „Github“ repo.

Nesu surinkęs iki 2016 m. Išleistų filmų įvertinimų vien todėl, kad netrukus po Walto Hickey analizės, kuria remsiuosi vėliau šiame straipsnyje, „Fandango“ vertinimo sistemoje įvyko nedideli pokyčiai.

Aš žinau, kad dirbti su maža imtimi yra rizikinga, tačiau bent jau tai kompensuojama gavus naujausią reitingų pasiskirstymo vaizdą.

Prieš planuodamas ir interpretuodamas skirstinius, leiskite man įvertinti anksčiau naudotas kokybines vertes: skalėje nuo 0 iki 10 blogas filmas yra nuo 0 iki 3, vidutiniškai nuo 3 iki 7, o geras - nuo 7 iki 10 .

Atkreipkite dėmesį į skirtumą tarp kokybės ir kiekio. Kad tai būtų galima pastebėti toliau, aš nurodysiu, kad reitingai (kiekis) yra žemi, vidutiniai arba aukšti. Kaip ir anksčiau, filmo kokybė išreiškiama kaip bloga, vidutinė ar gera. Jei nerimaujate dėl to, kad „vidutinis“ terminas yra tas pats, nedarykite, nes aš pasirūpinsiu, kad išvengčiau neaiškumų.

Dabar pažvelkime į paskirstymus:

Iš pirmo žvilgsnio galima pastebėti, kad metascore histograma (taip vadinama tokia grafika) labiausiai primena normalų pasiskirstymą. Vidutiniame plote jis yra storas, susidedantis iš netaisyklingo aukščio strypų, todėl viršus nėra nei bukas, nei aštrus.

Tačiau jų yra daugiau ir aukštesnė nei juostų kiekvienoje kitoje srityje, kurios aukštis mažėja artėjant kraštutinumui, daugiau ar mažiau palaipsniui. Visa tai aiškiai rodo, kad daugumos metascores vertė yra vidutinė, ko mes beveik ir ieškome.

IMDB atveju didžioji pasiskirstymo dalis taip pat yra vidutiniame plote, tačiau akivaizdu, kad link didžiausių vidutinių verčių nėra. Aukšto įvertinimo sritis atrodo panaši į tą, kurią galima tikėtis esant normaliam pasiskirstymui toje histogramos dalyje. Tačiau ryškus bruožas yra tas, kad žemų filmų reitingų sritis yra visiškai tuščia, todėl kyla didelis klaustukas.

Iš pradžių aš kaltinau mažą imtį, manydamas, kad didesnis padarys daugiau teisingumo IMDB. Laimei, man pavyko rasti paruoštą „Kaggle“ duomenų rinkinį, kuriame buvo IMDB įvertinimai 4917 skirtingų filmų. Mano didelei nuostabai, platinimas atrodė taip:

Skirstymo forma atrodo beveik tokia pati kaip ir 214 filmų pavyzdžių, išskyrus žemo įvertinimo sritį, kurioje šiuo atveju nedaug apgyvendinta 46 filmai (iš 4917). Didžioji vertybių dalis vis dar yra vidutiniame plote, todėl verta toliau apsvarstyti IMDB reitingą, kad būtų galima rekomenduoti, nors akivaizdu, kad su tokiu iškrypimu sunku konkuruoti su metascore.

Bet kokiu atveju, tai, kas iš tikrųjų puiku šiame rezultate, yra tai, kad jį galima naudoti kaip svarų argumentą tezei, kad 214 filmų imtis yra gana reprezentatyvi visai populiacijai. Kitaip tariant, dabar labiau pasitikima tuo, kad šios analizės rezultatai būtų tokie patys arba bent jau panašūs į pasiektus rezultatus, jei būtų analizuojami visi filmų įvertinimai iš visų keturių svetainių.

Dėl šio padidėjusio pasitikėjimo pereikime prie „Fandango“ reitingų pasiskirstymo nagrinėjimo, kuris, atrodo, nelabai pasikeitė nuo Hickey analizės. Nukrypimas vis dar akivaizdžiai nukreiptas į aukštesnę filmų įvertinimo spektro dalį, kur gyvena dauguma reitingų. Apatinės vidutinių įvertinimų pusės sritis yra visiškai tuščia, kaip ir žemų įvertinimų srityje. Galima lengvai padaryti išvadą, kad paskirstymas toli gražu neatitinka mano kriterijaus. Todėl aš daugiau nesvarstysiu galimos rekomendacijos.

(Pažadu, kad slinkties aukštyn kankinimas greitai baigsis. Daug lengviau palyginti paskirstymus, jei jie dedami šalia kitų, o ne juos išsklaidyti po straipsnį.)

Galiausiai, pomidorų matuoklio pasiskirstymas yra netikėtai vienodas ir atrodytų dar lygesnis pagal kitą susiejimo strategiją (susmulkinimo strategiją nusako bendras juostų skaičius ir jų diapazonai; galite žaisti su šiais dviem parametrais, kai kuriate histogramą) .

Šį pasiskirstymą nėra lengva interpretuoti kontekste, nes tomometras nėra klasikinis įvertinimas, jis parodo kritikų, teigiamai įvertinusių filmą, procentą. Tai daro jį netinkamą blogos, vidutinės ir geros kokybės sistemai, nes tai daro filmus arba gerus, arba blogus. Bet kokiu atveju, manau, jis vis tiek turėtų virsti tuo pačiu įprastu paskirstymu, kai dauguma filmų turi vidutinį skirtumą tarp teigiamų ir neigiamų atsiliepimų skaičiaus (pateikiant daugybę įvertinimų 30–70% teigiamų atsiliepimų) ir nedaug filmų, kurių vienaip ar kitaip skirtumas yra žymiai didesnis.

Atsižvelgiant į paskutinį svarstymą ir pasiskirstymo formą, tomatometras neatitinka mano kriterijaus. Tai gali būti, kad didesnis pavyzdys būtų tai padaryti daugiau teisingumo, bet net ir taip, jei aš būčiau jį rekomenduoju, aš norėčiau tai padaryti su kai atsargos dėl neaiškaus teigiamą arba neigiamą reitingų sistemos.

Šioje analizės vietoje galėčiau pasakyti, kad, žiūrėdamas į skirstinius, mano rekomendacija yra metascore.

Tačiau atrodo, kad verta apsvarstyti ir IMDB paskirstymą, ypač jei šiek tiek pakoreguojate trijų kokybinių kategorijų (intervalų, kuriuos aš pats apibrėžiau, daugmaž savavališkai) vertinimo intervalus. Žvelgiant iš šios perspektyvos, aiškiai nepakanka rekomenduoti metascore, atliekant daugiausia vizualinį tyrimą.

Taigi, naudodamasis kiekybiniu metodu, pabandysiu juos atskirti .

Idėja yra naudoti „Fandango“ kintamąjį kaip neigiamą nuorodą ir tada nustatyti, kuris kintamasis iš IMDB reitingo ir metascore yra mažiausiai susijęs su juo (aš vadinu šiuos kintamuosius, nes jie gali turėti skirtingas reikšmes - pavyzdžiui, metascore) yra kintamasis, nes tam reikia skirtingų reikšmių, priklausomai nuo filmo).

Aš paprasčiausiai apskaičiuosiu kai kuriuos koreliacijos koeficientus, o kintamasis, turintis mažiausią vertę, bus mano rekomendacija (tada paaiškinsiu, kaip veikia šie koreliacijos koeficientai). Bet prieš tai leiskite trumpai pagrįsti „Fandango“ kintamojo pasirinkimą kaip neigiamą nuorodą.

„Fandango“ vartotojai per daug myli filmus

Viena iš šio pasirinkimo priežasčių yra ta, kad „Fandango“ filmų reitingai yra labiausiai nutolę nuo įprastų, turint akivaizdų pakrypimą į aukštesnę filmų reitingų spektro dalį.

Kita priežastis yra įtarimų debesis aplink Fandango, kurį paliko Walto Hickey analizė. 2015 m. Spalio mėn. Jis taip pat buvo suglumęs dėl panašaus pasiskirstymo ir atrado, kad „Fandango“ svetainėje skaitiniai įvertinimai visada buvo apvalinami iki kitos aukščiausios pusės žvaigždės, o ne iki artimiausios (pavyzdžiui, 4,1 vidutinis filmo įvertinimas būtų buvo suapvalintos iki 4,5 žvaigždutės, o ne 4,0).

„Fandango“ komanda ištaisė šališką vertinimo sistemą ir pasakė Hickey, kad reitingavimo logika jų svetainėje buvo „programinės įrangos triktis“, nurodanti nešališką savo mobiliosios programos sistemą. (Daugiau apie tai Hickey straipsnyje.) Koregavimas pakeitė kai kuriuos statistinius parametrus į gerąją pusę, tačiau jų nepakako, kad įtikintų nedirbti su „Fandango“ kintamuoju kaip neigiama nuoroda.

Taip atrodo pokytis:

Dabar priartinkime „Fandango“:

Kas tarp metascore ir IMDB reitingo yra mažiausiai susijęs su „Fandango“ reitingu?

Mažiausiai koreliacija su „Fandango“ reitingu yra metascore. „ Fandango“ atžvilgiu jo „ Pearson“ r vertė yra 0,38, o IMDB reitingas - 0,63.

Dabar leiskite man visa tai paaiškinti.

Keičiantis dviem kintamiesiems, atsižvelgiant į skirtingas reikšmes, jie koreliuoja, jei yra abu pokyčius atitinkanti schema. Koreliacijos matavimas paprasčiausiai reiškia matuoti tokio modelio mastą.

Vienas iš būdų atlikti šią priemonę yra apskaičiuoti Pearsono r. Jei reikšmė yra +1,0, tai reiškia, kad yra puiki teigiama koreliacija, o jei ji yra -1,0, tai reiškia, kad yra puiki neigiama koreliacija.

Kintamųjų koreliacijos mastas mažėja, kai Pearsono r artėja prie 0, tiek iš neigiamos, tiek iš teigiamos pusės.

Geriau įsivaizduokime tai:

Dabar, norint palyginti aukščiau pateiktą abstrakciją, jei palyginsime, kaip keičiasi dviejų reitingų tipų vertės - tarkime, „Fandango“ ir „IMDB“ -, mes galime nustatyti laipsnį, kuriuo yra abiejų pokyčių modelis.

Atsižvelgiant į ką tik minėtus koreliacijos koeficientus, tarp „Fandango“ ir IMDB yra daugiau modelio nei „Fandango“ ir „metascore“. Abu koeficientai yra teigiami, todėl sakoma, kad koreliacija yra teigiama, o tai reiškia, kad didėjant „Fandango“ reitingams, IMDB reitingai taip pat linkę kilti labiau nei metascores.

Kitaip tariant, labiau tikėtina, kad kiekvienam „Fandango“ filmo reitingui metascore skirsis labiau nei IMDB.

Nuosprendis: naudokitės „Metacritic“ metascore

Apskritai rekomenduoju patikrinti metascore, kai tik ieškote filmo įvertinimo. Štai kaip tai veikia ir trūkumai.

Trumpai tariant, metascore yra svertinis daugelio žinomų kritikų atsiliepimų vidurkis. „Metacritic“ komanda skaito apžvalgas ir kiekvienai priskiria 0–100 balus, kuriems tada suteikiamas svoris, daugiausia atsižvelgiant į apžvalgos kokybę ir šaltinį. Daugiau apie jų įvertinimo sistemą galite rasti čia.

Dabar noriu atkreipti dėmesį į keletą metascore minusų:

  • Svorio koeficientai yra konfidencialūs, todėl jūs nematysite, kiek kiekviena apžvalga buvo skaičiuojama metascore.
  • Apytiksliai turėsite rasti metaskoras mažiau žinomiems filmams, pasirodžiusiems iki 1999 m., Kai buvo sukurti „Metacritic“.
  • Kai kurie naujausi filmai, kurių pagrindinė kalba nėra anglų, net nėra įtraukti į „Metacritic“. Pavyzdžiui, Rumunijos filmai „Du loterijos bilietai“ (2016) ir „Rytų verslas“ (2016) nėra įtraukti į „Metacritic“, o IMDB - su reitingais.

Dar keli žodžiai

Apibendrinant, šiame straipsnyje aš pateikiau vieną rekomendaciją, kur ieškoti filmų įvertinimo. Aš rekomendavau metascore, remdamasis dviem argumentais: jo pasiskirstymas labiausiai panašus į įprastą, ir jis mažiausiai susijęs su „Fandango“ reitingu.

Visi kiekybiniai ir vaizdiniai straipsnio elementai yra atkuriami „Python“, kaip parodyta čia.

Ačiū, kad skaitėte! Ir laimingo filmo žiūrėjimo!