I loppet för att påskynda artificiell intelligens tar Silicon Valley -företaget Cerebras en ovanlig strategi: Go big.
Medan ett typiskt datorchip är lika stort som en nagel, är Cerebras' chip är storleken på en tallrik.
Deep learning, en AI-teknik som driver röstassistenter, självkörande bilar och Go-mästare, bygger på komplexa" neurala nätverk" programvara arrangerad i lager. Djupinlärningssystem kan köras på en enda dator, men de största systemen är spridda över tusentals anslutna maskiner, ibland i stora datacenter, till exempel de som drivs av Google. I ett stort kluster glider upp till 48 servrar i pizzastorlek i en enhöga rack; Hyllorna är uppradade i rader och fyller en byggnad i storleken på ett lager. De neurala nätverken i dessa system kan lösa skrämmande problem, men de står också inför uppenbara utmaningar. Ett nätverk som sprider sig i ett kluster är som en hjärna spridd över ett rum och sammankopplad. Elektroner rör sig snabbt, men kommunikationen över chips är långsam och förbrukar mycket energi.
Eric Vishria, general partner på San Francisco riskkapitalbolag Benchmark, insåg problemet först när han hörde Cerebras Systems, ett nytt datorkretsföretag, tala våren 2016. Benchmark är känt för att vara en tidig investerare i företag som Twitter, Uber och ebay - det vill säga i programvara, inte hårdvara. Företaget tittar på cirka 200 nystartade företag om året och investerar i ett." Vi lekte det här spelet med att kyssa tusen grodor," Berättade Vishria. I början av sitt tal bestämde han sig för att kasta grodan tillbaka." Jag tänkte, varför gick jag med på detta?" Vi' kommer inte att investera i hårdvara,&", påminde han om att tänka." Det&är dumt."
Cerebras medgrundare Andrew Feldman började med bildskyddet till teamets bild och fångade Vishria &: s uppmärksamhet: hans talang var imponerande. Feldman jämförde sedan de två typerna av datorchips. Först tittade han på grafikbehandlingsenheter, eller Gpus - chips utformade speciellt för att skapa 3D -bilder. Idag förlitar sig&maskininlärningssystem på dessa grafikchips av olika anledningar. Därefter tittade han på centrala processorenheter, eller cpus, de allmänna chips som gör det mesta av arbetet i en typisk dator." Den tredje bilden var ungefär' Gpus,' som faktiskt är dåliga för djupinlärning - de råkar bara vara hundra gånger bättre än cpus." Cerebras har kommit med en ny typ av chip som inte är avsedd för grafik utan speciellt utformad för artificiell intelligens.
Vishria är van vid att höra platser från företag som planerar att använda djupinlärning inom cybersäkerhet, medicinsk bildbehandling, chatbots och andra applikationer. Efter Cerebras&tal pratade han med ingenjörer på företag som finansieras av Benchmark, inklusive Zillow, Uber och Stitch Fix; De berättade att de hade problem med AI eftersom det tog för lång tid att" träna" det neurala nätverket. Google har börjat använda supersnabba" tensor-bearbetningsenheter," eller Tpus, speciella chips utformade för ARTIFICIAL intelligence. Vishria visste att det var en guldrusning på gång och någon var tvungen att göra plockningar och spadar.
Det året ledde Benchmark och Foundation Capital, ett annat venture Capital -företag, en finansieringsrunda på 27 miljoner dollar för Cerebras, vilket har samlat in nästan 500 miljoner dollar. Andra företag tillverkar också så kallade artificiella intelligensacceleratorer; Cerebras' konkurrenterna groq, Graphcore och Sambanova tog in mer än 2 miljarder dollar i kapital mellan dem. Men Cerebras' tillvägagångssätt är unikt. I stället för att skriva ut dussintals skivor på en stor bit kisel, klippa av dem och ansluta dem till varandra, har företaget skapat en gigantisk" skivnivå" chip. Medan ett typiskt datorchip är lika stort som en nagel, är Cerebras ungefär lika stor som en tallrik och är det största datorchipet i världen.
Även konkurrenter tyckte att bedriften var imponerande." Detta är ny vetenskap," Nigel Toon, Graphcore &: s verkställande direktör och medgrundare, berättade för mig." Det' är en otrolig teknik. Det' ett mästerverk." Samtidigt beskrev en annan ingenjör jag talade med det som ett vetenskapsprojekt - stort för': s skull. Tidigare har företaget försökt och misslyckats med att göra gigantiska marker; Cerebras' plan uppgår till en satsning på att övervinna tekniska utmaningar är möjligt och värt det." För att vara ärlig är okunnighet för mig en fördel," Sa Vishria." Jag vet inte' om jag visste hur svårt det är att göra vad de gör, skulle jag ha modet att investera."
Det är lätt att ta för givet att datorer blir allt snabbare. Detta förklaras ofta av Moore' s lag: mönstret som etablerades 1965 av halvledarpionjären Gordon Moore, enligt vilket antalet transistorer på ett chip fördubblas varje år eller vartannat år. Naturligtvis är Moore' s lag inte' egentligen en lag, och ingenjörer arbetar outtröttligt för att krympa transistorer samtidigt som de förbättrar" arkitekturen" av varje chip för att skapa mer effektiva och kraftfulla mönster.
Chiparkitekter har länge undrat om ett enda, storskaligt datorchip kan vara mer effektivt än ett gäng mindre marker, precis som en stad med koncentrerade resurser och täta block är mer effektiv än en förort. Idén prövades först på 1960 -talet, då Texas Instruments begränsade produktionen av chips som var några centimeter breda. Men företagets' s ingenjörer stötte på avkastningsproblem. På en given kiselskiva äventyrar tillverkningsfel oundvikligen ett visst antal kretsar. Om en skiva innehåller 50 marker kan företaget slänga de dåliga och sälja de goda. Men om varje framgångsrikt chip berodde på kretsarna för en enda skiva, skulle många dyra skivor kasseras. Texas Instruments hittade en lösning, men tekniken och behovet var' t där ännu.
På 1980 -talet försökte en ingenjör vid namn Gene Amdahl igen lösa problemet med ett företag han grundade kallat Trilogy Systems. Det blev den största uppstarten i Silicon Valley' s historia, med cirka 250 miljoner dollar i finansiering. För att lösa avkastningsproblemet skrev Trilogy ut redundanta komponenter på chipet. Denna metod ökar produktionen men minskar hastigheten på chipet. Samtidigt kämpar Trilogy på andra sätt. Amdahl sprang på en motorcyklist med sina rullar Royce, vilket orsakade juridiska problem; Dess president dog av en hjärntumör; Kraftigt regn har försenat byggandet av fabriker, rostande luftkonditioneringssystem och samlat damm på flis. 1984 gav Trilogy upp." Jag visste inte' hur svårt det skulle vara," Amdahl' s son berättade för The Times.
Om Trilogy &: s teknik är framgångsrik kan den nu användas för djupinlärning. Istället löser Gpus (chips som används i videospel) vetenskapliga problem i nationella laboratorier. Återanvändning av gpus för AI beror på det faktum att neurala nätverk, även om de är mycket komplexa, är beroende av mycket multiplikation och addition. När" neuroner" i nätverket avfyrar varandra, de förstärker eller reducerar varandras' s signaler och multiplicerar dem med koefficienter som kallas anslutningsvikter. En effektiv AI -processor kommer att beräkna många aktiveringar parallellt; Den kombinerar dem i en serie tal som kallas vektorer, eller rutnät med siffror som kallas matriser, eller högre dimensionella block som kallas tensorer. Helst vill du multiplicera en matris eller tensor med en annan samtidigt. Gpus är utformade för att göra något liknande:
& quot; Trilogins skugga är så stor," Feldman sa till mig nyligen," att folk slutar tänka och börjar säga,' Det' är omöjligt.'" GPU -företag, inklusive Nvidia, hoppade på möjligheten att anpassa sina marker för djupinlärning. År 2015 började Feldman och en grupp datorarkitekter diskutera idén om större chips efter att de grundade en datorservertillverkare, Seamicro, som de sålde till chipstillverkaren AMD för 334 miljoner dollar. De arbetade med frågan i fyra månader på ett kontor lånat från ett riskkapitalföretag. När de hade en översikt över en livskraftig lösning pratade de med åtta företag; Fick finansiering från Benchmark, Foundation Capital och Eclipse och började anställa.
Cerebras' första uppgiften är att lösa tillverkningsproblem som plågar stora chips. Chippet var ursprungligen en cylindrisk göt av kristallint kisel med en fot i diameter och stålgötet skars i skivor som var mindre än en millimeter tjocka. Kretsen är sedan" tryckt" på skivan genom en process som kallas litografi. UV-känsliga kemikalier deponeras noggrant på ytan, och sedan projiceras en stråle av UV-ljus genom en detaljerad mall som kallas en mask. Dessa kemikalier reagerar för att bilda kretsar.
Normalt blir det område som täcks av ljus som projiceras genom masken ett chip. Sedan rör sig chippet och ljuset projiceras igen. Efter att dussintals eller hundratals marker har skrivits ut, laserskärs de från skivan." Det enklaste sättet att göra det är att din mamma tar fram en rund kakdeg," Sa Feldman." Hon har en kakform och hon skär kakorna försiktigt." Lagarna i fysik och optik gör det omöjligt att göra en större kakskärare. Som ett resultat utvecklade vi&en teknik så att du kan kommunicera genom lite deg mellan två kakor."
I utskriftssystemet Cerebras som utvecklats i samarbete med TSMC, företaget som tillverkar chipet, överlappar kanterna på kakorna så att deras trådar ansluts. Resultatet är en enda" skivstorlek" skiva, kopparfärgad fyrkant och 21 cm på varje sida. (Den största Gpus är något mindre än 3 cm i diameter.) Cerebras producerade sitt första chip, Wafer-scale Engine 1, 2019. Wse-2, som introducerades i år, använder en tätare krets, med 2,6 biljoner transistorer förpackade i 850 000 processorenheter , eller" kärnor" ;. (Top Gpus har bara några tusen kärnor, medan de flesta cpus har färre än 10.)
& quot; 2,6 biljoner transistorer är häpnadsväckande," säger Aart de Geus, ordförande och med-VD för Synopsys. Synopsys tillhandahåller viss programvara som Cerebras och andra chipmakers använder för att göra och validera sina chipdesigner. De Geus säger att ingenjörer först måste överväga två kärnfrågor vid konstruktion av chips:" Varifrån kommer data?" Var hanteras det?" När chipsen var enklare kunde designers svara på dessa frågor med en penna på ett ritbord; När du arbetar med dagens&mer komplexa marker anger du kod som beskriver arkitekturen de vill skapa och går sedan vidare till visualiserings- och kodningsverktyg." Tänk på hur huset ser ut från taket," sa de Geus." Är garaget nära köket? Eller är det nära sovrummet? Du vill ha det nära köket - annars måste du' ha matvaror genom varje hörn av huset." Efter att ha utformat planlösningen förklarade han," du kan använda ekvationer för att beskriva vad som händer i rummet."
Designkomplexiteten hos chips är upprörande." Det finns många lager här," sa de Geus, med kretsar korsade och skiktade ovanpå varandra, som en stor motorvägsöverfart. För Cerebras -ingenjörerna, som arbetar på en skivans skala, ökar komplexiteten. Synopsys' mjukvara hjälper till i form av artificiell intelligens: mönstermatchningsalgoritmer identifierar vanliga problem och föreslår lösningar; Optimeringsprogrammet flyttar rummet till ett snabbare och mer effektivt arrangemang. Om för många banor försöker klämma in sig i en tvåblocksbyggnad, tillåter programvaran ingenjörer att spela Robert Moses och flytta kvarteret.
I slutändan, säger Feldman, finns det flera fördelar med överdimensionerade chipdesigner. När kärnorna är på samma chip, kommunicerar de snabbare: datorns' s hjärna är nu koncentrerad i en enda skalle, snarare än utspridd över ett rum. Större chips hanterar också minnet bättre. Normalt måste ett litet chip som är redo att bearbeta en fil först hämta filen från ett delat minneschip som finns någon annanstans på kretskortet; Endast de mest använda uppgifterna cachelagras närmare hemmet. Feldman erbjöd en analogi för att beskriva effektiviteten hos chips på skivnivå: Han bad mig att föreställa mig en grupp rumskamrater (kärna) som bor i en sovsal (chip) som ville titta på en fotbollsmatch (göra datorarbete). För att kunna se spelet, säger feldman, måste rumskamrater förvara öl i kylskåpet (data lagras i minnet); Cerebras förvarar ett kylskåp i varje rum så rumskamrater behöver inte' riskera att gå till studentrummet' s gemensamma kök eller Safeway. Detta har den extra fördelen att varje kärna kan bearbeta olika data snabbare." Så jag kan ha Bud i mitt sovsal," Sa Feldman." I din sovsal kan du ha Schlitz."
Slutligen måste Cerebras övervinna avkastningsproblem. Företagets' s ingenjörer använder Trilogy': s trick: redundans. Men här har de en fördel gentemot sina föregångare. Trilogy försöker göra generiska chips med många olika komponenter, så kabeldragning kring en enda felaktig komponent kan kräva anslutning till en avlägsen ersättare. På Cerebras' chip, alla kärnor är identiska. Om en kex har fel är de runt den lika bra.