AI-forskning är en dumpsterbrand och Google organiserar matcher

AI-forskning är en dumpsterbrand och Google organiserar matcher

AI-forskningens värld håller på att falla sönder. Från akademiker som föredrar planer som är lätta att tjäna pengar framför att bryta ny mark, till Silicon Valley-eliten som använder hotet om förlust av jobb för att uppmuntra företagsvänliga hypoteser, systemet är en trasig röra.

Och Google förtjänar en lejonpart av skulden.

hur det började

var där Omkring 85 000 forskningsartiklar globalt publicerade på ämnet AI/ML år 2000. Snabbspola framåt till 2021 och nästan dubbelt så många publicerades bara i USA.

Att säga att det har skett en explosion på fältet vore en underdrift. Detta tillflöde av forskare och nya idéer har gjort djupinlärning till en av de viktigaste teknologierna i världen.

Mellan 2014 och 2021 övergav Big Tech sina principer “Web First” och “Mobile First” för att anta “AI First”-strategier.

Nu, 2022, är AI-utvecklare och forskare i högre efterfrågan (och storleksordningar högre löner) än nästan alla andra jobb inom teknik utanför C-suiten.

Men det finns också en mörk sida av sådan ohämmad tillväxt. I jakten på att möta marknadens efterfrågan på djupinlärningsbaserade produkter och tjänster har sektorn blivit lika mördande och ombytlig som professionell sport.

Under åren har vi sett “Ian Goodfellow, Jump Ship from Google to Apple, Timnit Gebru och andra sparkas från Google för oeniga åsikter om effektiviteten av forskningen, och en mängd tvivelaktiga AI-papper lyckas på något sätt undvika peer -recension.

Floden av talang som följde explosionen av djupinlärning förde med sig en uppsjö av dålig forskning, bedrägeri och företagsgirighet.

hur är läget

Google är mer ansvarigt för det moderna AI-paradigmet än något annat företag. Detta innebär att vi måste ge stora G-betyg för att ge naturlig språkbehandling och bildigenkänning till massorna.

Det betyder också att vi kan kreditera Google för att ha skapat en forskar-ät-forskarmiljö där vissa studenter och deras professorer i storteknologiska partner ser forskningsartiklar som lite mer än foder för riskkapitalister och företags headhunters. .

Framför allt visade Google sin vilja att anställa världens duktigaste forskare. Och det har också visat sig många gånger att det kommer att sätta eld på dem i ett pulsslag om de inte går in i företaget.

Företaget skapade rubriker runt om i världen i december 2020 efter att det sparkade Timnit Gebru, en forskare, för att hjälpa till att leda dess AI-etiska division. Några månader senare sparkade den en annan medlem i laget, Margaret Mitchell.

Google säger att forskarnas arbete inte var upp till målet, men både kvinnorna och många supportrar hävdar att företagets AI-chef, Jeff Dean, sparkade först efter att han tagit upp etiska farhågor över forskningen.

Nu har knappt mer än ett år gått och historien upprepar sig. Google En annan världsberömd AI-forskare sparkade Satrajit Chatterjee, efter att ha lett ett team av forskare i att utmana ett annat papper, undertecknades av dekanus.

lerskred effekt

Utöver det betyder det att konkurrensen om högbetalda jobb är hård. Och sökandet efter den nästa smartaste forskaren eller utvecklaren börjar mer än någonsin.

Studenter som arbetar mot avancerade grader inom maskininlärning och AI, som så småningom vill arbeta utanför den akademiska världen, förväntas skriva eller vara medförfattare till forskningsartiklar som visar deras talanger.

Tyvärr är pipelinen från den akademiska världen till den stora teknik- eller VC-ledda startup-världen full av taskiga papper skrivna av studenter vars hela benägenhet är att skriva algoritmer som kan tjäna pengar på.

Till exempel visar en snabb Google Scholar-sökning efter “naturligt språkbehandling”, ungefär en miljon träffar. Många av de listade breven har hundratals eller tusentals citat.

På ytan skulle detta indikera att NLP är en blomstrande delmängd av forskning om maskininlärning som har uppmärksammats av forskare runt om i världen.

Faktum är att sökningar efter “konstgjorda neurala nätverk”, “datorseende” och “förstärkt lärande” alla ger en liknande mängd resultat.

Tyvärr är en betydande del av AI- och ML-forskningen antingen avsiktlig bluff eller full av dålig vetenskap.

Det som kunde ha fungerat bra tidigare håller snabbt på att bli ett potentiellt förlegat sätt att kommunicera forskning.

Stuart Ritchie från The Guardian skrev nyligen en artikel Jag undrade om vi skulle ta bort forskningsartiklar helt och hållet. Enligt honom är vetenskapens problem djupt rotade:

Detta system kommer med stora problem. Den främsta bland dem är frågan om publikationsbias: recensenter och redaktörer som ger en vetenskaplig artikel en bra uppsats och rapporterar positiva eller spännande resultat är mer benägna att publicera den i sin egen tidskrift. Så forskare försöker för hårt att publicera sina studier, förlitar sig på deras analys för att producera “bättre” resultat, och ibland begår de till och med bedrägerier för att imponera på de allra viktigaste grindvakterna. Detta förvränger i hög grad vår syn på vad som verkligen hände.

Problemet är att grindvakterna är alla som försöker påverka framtida anställning av studenter och nycklarna till akademikers inträde i prestigefyllda tidskrifter eller konferenser – forskare kan misslyckas med att få sitt godkännande på egen risk.

Och även om en tidning lyckas ta sig igenom peer-review, finns det ingen garanti för att de som driver saker inte sover på Switch.

Det är därför Guillaume Cabanac, docent i datavetenskap vid University of Toulouse, skapade ett projekt som heter problematisk pappersscreener (PPS).

PPS använder automatisering för att flagga papper som innehåller potentiellt problematisk kod, matematik eller terminologi. I en anda av vetenskap och rättvisa ser Cabanac till att varje tidning som flaggas får en manuell granskning från människor. Men arbetet är troligen för stort för en handfull människor att göra på sin fritid.

enligt en rapport bra Från Spectrum News finns det många problematiska brev där ute. Och de flesta är angelägna om maskininlärning och AI:

Screener ansåg att cirka 7 650 studier var problematiska, som inkluderade mer än 6 000 tortyrfraser. De flesta tidningar med torterade fraser kommer från området maskininlärning, artificiell intelligens och ingenjörskonst.

Trakasserade fraser är ord som lyfter röda flaggor för forskare när de försöker beskriva en process eller ett koncept som redan är väletablerat.

Till exempel kan användningen av termer som “falsk nerv” eller “man-made nerv” indikera användningen av en synonymordbok som används av dåliga skådespelare som försöker undvika plagiat av tidigare arbete.

Lösning

Även om Google inte kan skyllas för varje missöde inom maskininlärning och AI, har det spelat en stor roll i överföringen av peer-reviewed forskning.

Detta betyder inte att Google inte heller stöder och stödjer forskarsamhället genom öppen källkod, ekonomiskt stöd och forskningsstöd. Och vi försöker verkligen inte säga att alla som studerar AI är ute efter att tjäna snabba pengar.

Men systemet är inrättat för att uppmuntra intäktsgenerering av algoritmer först och för att avancera fältet sedan. För att ändra detta måste både storteknologin och akademin engagera sig för förbättringar i grossistledet i hur forskning presenteras och granskas.

För närvarande finns det ingen allmänt erkänd tredjepartsverifieringsmyndighet för papper. Peer-review-systemet är mer som en hederskodex än en uppsättning överenskomna principer som ska följas av institutionerna.

Det finns dock en preferens för att inrätta och driva en tillsynskommitté med räckvidd, inflytande och expertis för att styra över akademiska gränser: NCAA,

Om vi ​​kan integrera ett system för rättvis tävling för tusentals amatörfriidrottsprogram, är det säkert att vi kan skapa ett styrande organ för att fastställa riktlinjer för akademisk forskning och granskning.

Och vad gäller Google är det mer än troligt att vd Sundar Pichai kallar sig själv inför kongressen igen om företaget fortsätter att sparka de forskare som det anställer för att övervaka sina etiska AI-program. Är.

Amerikansk kapitalism innebär att ett företag i allmänhet är fritt att anställa och sparka vem som helst, men aktieägare och arbetare har också rättigheter.

Så småningom kommer Google att behöva engagera sig i etisk forskning, annars kommer det inte att kunna konkurrera med intresserade företag och organisationer.