De beste dingen in het leven schaal niet

De grootste modewoorden in de technologie zullen mislukken omdat ze gewoon niet schalen.

Omdat we snel innoveren met nieuwe technologie, moeten we er rekening mee houden of onze innovaties praktisch en haalbaar zijn. In een wereld waarin we duizenden gebruikers en runtime in milliseconden tellen, is het belangrijker dan ooit om voor nieuwe technische schalen te zorgen.

Dat is de reden waarom het schokkend is dat de drie grootste modewoorden in de technologie volledig niet kunnen worden opgeschaald.

Natuurlijk heb ik het over de drie categorieën waar tegenwoordig vrijwel elk technisch nieuws in valt:

  1. Kunstmatige intelligentie
  2. Blockchain
  3. Mixed Reality (XR, AR / VR)

Het lijkt erop dat bijna alles deze gebruikt of toevoegt en toch is het krankzinnig hoe pijnlijk (en vrijwel onmogelijk) het is om deze services op te schalen.

We hebben meer hardware nodig

De eerste en belangrijkste tekortkoming blijft hardware. Het is geen geheim dat de hardwarevereisten voor technologie jaar na jaar exponentieel toenemen, zowel qua prijs als qua specificaties. Dit wordt feitelijk een blokkerende factor in brede acceptatie, en in het geval van blockchain is het een moordenaar.

Blockchain vertrouwt meestal op 'mijnwerkers' die 'mijnen' blokkeert en het netwerk de meest elementaire taken laat uitvoeren (d.w.z. transacties verifiëren). Het proces van 'mining' is iets waar ik niet diep op in ga, maar het gaat om het uitvoeren van grote cryptografische functies, een proces dat bekend staat als 'hashing'.

Het probleem met hashing is dat het een aanzienlijke hoeveelheid rekenkracht vereist; in feite vereist zo'n grote hoeveelheid die efficiënt aan het minen is op de blockchain speciale hardware, ofwel een GPU of een ASIC. Om zelfs de kleinste mijnwerker te zijn, heb je een high-spec GPU nodig (laten we echt zijn, Intel HD Graphics is momenteel standaard voor de consument, dus eigenlijk is elke GPU daarboven high-spec) of een speciale ASIC. Dit levert een behoorlijk grote rekening op, waarbij de meeste apparaten een prijs hebben van honderden tot duizenden dollars per eenheid, zonder het hoge elektriciteitsverbruik dat als bedrijfskosten wordt beschouwd.

het grote GPU-tekort van 2018

Dit is een belangrijke, blokkerende factor gebleken bij de acceptatie van blockchain. Om deze reden zijn de GPU-prijzen zelfs omhooggeschoten en is de voorraad vrijwel verdwenen, waardoor potentiële mijnwerkers geen gereedschap meer hebben, de pc-gamingindustrie crasht en onderzoekers worden verhinderd toegang te krijgen tot hoogwaardige hardware. Zelfs GPU-fabrikanten zoals Nvidia die hebben geprofiteerd van de opkomst hebben zich uiteindelijk uitgesproken over het ernstige tekort als directe oorzaak van blockchain.

Een jaar later zijn de meeste van deze blockchain-technologieën verdwenen en zijn de prijzen van grote cryptocurrencies tot een kwart van hun waardering gedaald. De meest genoemde zorg met blockchain is het gebrek aan schaalbaarheid en hardware blijft (en zal dat blijven) een blokkerende factor bij het opschalen van blockchain-technologie.

Dit probleem is echter niet beperkt tot de blockchain. Kunstmatige intelligentie vertrouwt op dezelfde hardware (GPU's), en dit wordt ook op dat gebied een blokkerende factor; de meeste aankomende startups kunnen het zich niet veroorloven om een ​​enorme GPU-farm zoals die van Google te bouwen, en het kopen van rekenkracht van cloudproviders zoals AWS levert een 4x prijsstijging op die een enorme serverrekening oplevert.

Met XR is het probleem nog erger. Om deze ervaringen te kunnen uitvoeren, moeten consumenten de visuals weergeven en moet het apparaat van de consument sensorische input verwerken. Dit legt de last vooral op de consument, wat geweldig klinkt voor bedrijven die de XR-ruimte willen betreden, maar een groot probleem met schaalvergroting veroorzaken.

Laten we bijvoorbeeld Oculus VR nemen. Oculus was een van de eerste VR-headsets die is gelanceerd en blijft een populaire naam in het veld, sindsdien overgenomen door Facebook en hun positie in de markt verstevigend.

De belachelijk hoge

Helaas werkt Oculus bijna uitsluitend op desktop-pc's, waarvoor bovendien hoge GPU-specificaties vereist zijn. Het wordt geconfronteerd met dezelfde valkuilen als blockchain en AI, maar met veel grotere zorgen: terwijl een bedrijf met AI gewoon geld naar hun infrastructuur kan gooien om het probleem tijdelijk op te lossen, met XR ligt de last op de consument. De acceptatiecyclus van AR / VR is afhankelijk van GPU's van consumenten om een ​​bredere en hogere specificatie te krijgen, en wachten op prijzen die dalen naar niveaus die betaalbaar zijn voor de gemiddelde gebruiker. Het is een proces dat mogelijk tientallen jaren kan duren - terwijl Nvidia CEO Jensen Huang beweert dat de wet van Moore GPU's begunstigt, de tijd die nodig is voor de voldoende ontwikkeling die nodig is om specificaties te verhogen, terwijl de prijzen nog steeds meerdere jaren bedragen.

Voor de drie grootste modewoorden in de technologie is het een verdomde zin.

runtime

Als we het hebben over de uitvoeringstijd in computers, bedoelen we over het algemeen in milliseconden, aangezien gebruikers steeds meer interacties verwachten.

Helaas is dit bij alle drie de bovengenoemde technologieën helemaal niet het geval.

Met blockchain duurt het minen van een enkel blok langer en langer naarmate de tijd verstrijkt. Het is zover gekomen dat het niet langer winstgevend is voor individuen om grote cryptocurrencies te minen, en mijnbouwpools zijn begonnen met het maken van foto's van het netwerk. Voor een "gedecentraliseerde" technologie is het een voorstander van veel centralisatie.

Het spelt ook doom voor de (betwistbaar) grootste use case van blockchain: cryptocurrency. Cryptocurrency gedijt op snelle transacties, zonder gecentraliseerde autoriteiten, over de grenzen heen en zonder grote kosten.

Met het falen van blockchain om op te schalen en de hoeveelheid tijd (tijd = elektriciteit) die nodig is om een ​​blok te minen, stegen de vergoedingen in verband met transacties tot recordhoogten; op zijn hoogtepunt bereikte Bitcoin een punt waarop de kosten voor de meeste kleine transacties groter waren dan de werkelijke transactiekosten, waardoor het volkomen nutteloos was en een totale mislukking voor dagelijkse consumenten. Transacties begonnen uren te duren, en regelgeving vanwege de wegloper, de stijgende prijs van Bitcoin maakte het moeilijk om Bitcoin over de grenzen te verplaatsen.

Cryptocurrency werd alles wat het beloofde te vernietigen.

Met kunstmatige intelligentie doet zich een heel ander probleem voor. De inferentietijd voor veel modellen op grote schaal duurt enkele seconden, wat klinkt als een kleine hoeveelheid tijd, maar begint op te lopen en een blokkerende figuur wordt bij het bespreken van gebruikersbases dat aantal in duizenden.

Bovendien zijn de cijfers voor de inferentietijd van de meeste modellen lastig - je moet tussen de regels door lezen, of liever naar de volgende regel die meestal luidt "zoals gevonden op onze XYZ GPU-stapel", waarin "XYZ GPU-stapel" kost enkele duizenden dollars en moet volledig worden besteed aan die enkele gevolgtrekkingstaak.

De TPU-stack van Google die vaak wordt gebruikt voor het trainen van hun modellen

Natuurlijk wordt hier onderzoek gedaan, maar het onderzoek dat wordt uitgevoerd, is bijna volledig gericht op trainingstijd, wat volgens mij niet erg belangrijk is. Voor training is een week niet erg - elke startup kan een week sparen om een ​​model te trainen dat de hoeksteen van hun bedrijf wordt.

Het grootste probleem ligt in de gevolgtrekking. Op rootniveau vereist training de inferentie - de inferentie wordt meestal aangehaald als de "voorwaartse" fase van een netwerk, en dit moet gebeuren in training voordat de achtergrond wordt uitgevoerd. Tijdens de training zijn echter alle gegevens die moeten worden afgeleid in het begin beschikbaar.

Met andere woorden, de hele batch kan in één keer worden verwerkt (dat wil zeggen 100s afbeeldingen tegelijkertijd) vanwege wiskundige schaling - het vermenigvuldigen van een grotere matrix van meerdere matrices is efficiënter dan het vermenigvuldigen van meerdere matrices van 1 matrix (met andere woorden , is het efficiënter om meer tegelijk te doen). Dit gaat tot op een bepaald punt, vergelijkbaar met het idee om de rendementen in de economie te verminderen, maar het blijft dat we met batch-training ons in staat stellen om grote hoeveelheden gegevens in te schatten.

Helaas is in een praktische zin batchverwerking zelden het geval.

Het komt zelden voor dat een model in één keer 200 afbeeldingen moet weergeven; het is waarschijnlijker dat 200 afbeeldingen worden ingediend voor inferentie, laten we zeggen, een minuut. Er zal een moeilijk knelpunt zijn in de inferentietijd per afbeelding; zelfs een inferentietijd van zeg, een derde van een seconde (wat waanzinnig snel is - dat zijn de tijden waarop de snelste modellen opscheppen, zoals het supergeoptimaliseerde zinsvoorspellingsmodel van Gmail) zal ertoe leiden dat slechts 180 van die afbeeldingen worden verwerkt per minuut. Zelfs bij de kleine belasting van 200 / min, kan het model niet worden geschaald en om de groeiende achterstand te beoordelen, moet een tweede exemplaar worden uitgezet om in evenwicht te zijn.

Het is een harde pil om in te slikken in een wereld waar grote ladingen een gegeven zijn; Node’s Express is zelfs eerder beschoten omdat hij slechts een paar duizend verbindingen / seconde ondersteunt, vergelijkbaar met populaire NoSQL-databases die worden bekritiseerd omdat ze een bottleneck hebben met enkele duizenden transacties / seconde.

een dam die gegarandeerd barst

Het is een ongeëvenaarde figuur in de wereld van AI, die met een paar honderd per seconde een harde bottleneck tegenkomt in termen van afzonderlijke gevolgtrekkingen over een enkel exemplaar van een model, zelfs met de meest geavanceerde optimalisaties die u kunt maken.

Met XR is er een heel, heel ander probleem op handen. Het probleem ligt in onderdompeling - voor onderdompeling en het vermijden van de griezelige vallei moeten interacties plaatsvinden en de weergave moet zich sneller aanpassen dan mensen kunnen waarnemen. Met andere woorden, een paar honderd milliseconden is niet snel genoeg.

Met XR meten we dingen in kleine hoeveelheden van milliseconden. We meten een acceptabele latentie zoals hieronder ~ 20 ms (een cijfer waar veel gamers het niet mee eens zijn, omdat 100+ fps en minder dan tien ping voor de meeste rigs als normaal worden beschouwd).

Het is een figuur die een knelpunt blijft en waar we lang niet in de buurt zijn; terwijl XR-technologie zich hier intensief op richt en er op dit gebied talloze doorbraken zijn bereikt op het gebied van regelmatige sensorische input en weergave, hebben we nog steeds problemen met de interactie; precies, XR opent een geheel nieuw, oneindig scala aan interactiemogelijkheden die niet door de meeste motoren kunnen worden verwerkt.

ARCore's Augmented Image-engine zoals getoond op Google I / O 2018

Om bovendien beeldvergroting uit te voeren met iets ingewikkelder dan homografie, is de latentie te hoog om door de meeste ervaringen als "acceptabel" te worden beschouwd. De snelste die we tot nu toe hebben getest, is ARCore Augmented Images van Google, die homografieën gebruikt (er is ook een demo van Augmented Faces die wat langzamer is en een merkbare latentie / vertraging heeft).

ARCore Augmented Faces demo

Het is een groot probleem

Alleen al in de afgelopen twee jaar is het aantal vorderingen op deze drie gebieden onoverkomelijk.

In AI zagen we het genereren van natuurlijke talen een sprong vooruit maken met GPT-2, dat zijn reputatie als Imagenet van NLP verdient. Het opent een nieuwe wereld van mogelijkheden met tekstverwerking. We hebben ook convolutionele netwerken en GAN's zien groeien naar 4K-afbeeldingen en we gaan een tijdperk in waarin AI HD-afbeeldingen kan nabootsen en inhoud kan genereren die geloofwaardig lijkt voor het menselijk oog.

Met blockchain is het veld minder modderig geworden, met het uitsterven van verschillende geldgelden en meer ruimte voor blootstelling aan bestaande platforms. Steam is het afgelopen jaar aanzienlijk gegroeid, samen met Stellar en het gebruik van blockchain in reguliere technologie. JPMorgan, BofA en Facebook hebben allemaal aangekondigd dat hun blockchain en toegepaste blockchain een stijging zien met platforms zoals DLive die mainstream zijn geworden (DLive is onlangs een partnerschap aangegaan met de grootste persoonlijkheid van YouTube met zijn creator-first platform).

In XR hebben we gezien dat telefoonniveau XR en AR een realiteit worden met veel verbeteringen aan ARCore. Het wordt mogelijk om AI in XR te integreren en ervaringen te ontwikkelen die een zekere mate van menselijke interactie mogelijk maken (we hebben nog geen fysieke aanraking, maar er zijn projecten die andere interactie mogelijk maken, zoals Fiddler AR).

Dit zijn allemaal gebieden die een grote, significante impact hebben op de toekomst van technologie, en waar de menselijke beschaving als geheel naartoe gaat. Dit zijn technologieën die geen invloed hebben op de economie; ze herdefiniëren het; ze hebben geen invloed op de maatschappij en interactie; ze revitaliseren het. Het maakt een revisie mogelijk van onze hele cultuur, en op een basisniveau wordt het een andere industriële revolutie genoemd.

Voor een beweging die zo'n grote invloed heeft op het brede publiek, is het van vitaal belang dat het kan worden geschaald om het publiek met gemak te ondersteunen. Totdat dit is geïmplementeerd, belemmert het de acceptatie en vormt het een hard-stop toetredingsdrempel in termen van innovatie buiten grote bedrijven.

Ik hoop meer innovatie te zien bij het opschalen van deze technologieën. Bij Epic.ai richten we ons op het ontwikkelen van applicaties die sterk afhankelijk zijn van AI en blockchain - we zijn maar al te bekend met de schaalbeperkingen; het is een probleem waar we de komende jaren hard aan zullen werken en een probleem dat we hopen dat de industrie samen zal komen om het op te lossen.

Hallo! Ik ben Tomer, een ondernemer en maker. Je kent me misschien van Mevee, Crane en Shots, Slides en nu investorintelligence.io, naast andere producten die ik heb gelanceerd! Dit artikel maakt deel uit van een uitgebreidere serie die ik schrijf, meestal op basis van mijn ervaringen en bestaat voornamelijk uit de meningen van mij en mijn team.

Ik hoop dat dit je helpt om te voorkomen dat ik dezelfde fouten maak als ik, en vergeet niet te blijven verzenden!

Klap alsjeblieft als je dit waardevol vond, en volg me voor meer schrijven zoals dit terwijl ik verhalen deel over hoe softwareontwikkeling en ondernemerschap er in het echt uitziet.

Dit verhaal is gepubliceerd in The Startup, de grootste publicatie over ondernemerschap van Medium gevolgd door +442.678 mensen.

Abonneer u om onze topverhalen hier te ontvangen.