Æble briller

Det forlyder, at Apple har et hemmeligt team på hundredvis af medarbejdere, der arbejder på virtual og augmented reality-projekter.

• Ja
• Ingen

Apples hemmelige forstærkede og virtuelle virkelighedsprojekt

Indhold

1. Apples hemmelige forstærkede og virtuelle virkelighedsprojekt
• Mixed Reality headset
• AR smarte briller
• iOS 14 AR-lækager
• AR i Xcode
• Ventilpartnerskab?
• Andre rygter
2. Augmented Reality vs. Virtual Reality
3. Apples VR/AR-team
• Udlejer
• Opkøb
4. AR / VR patenter
5. Frokost aftale
6. Fremtidige AR/VR-planer
7. Apple Glasses Tidslinje

Apple har udforsket virtual reality- og augmented reality-teknologier i mere end 10 år baseret på patentansøgninger, men med virtual reality og augmented reality, der eksploderer i popularitet med lanceringen af ​​ARKit, bliver Apples besværligheder mere alvorlige og forventes at føre til en AR/ VR-produkt i 2022.

Det forlyder, at Apple har en hemmelig forskningsenhed med hundredvis af medarbejdere, der arbejder med AR og VR og udforsker måder, hvorpå de nye teknologier kan bruges i fremtidige Apple-produkter. VR/AR-ansættelser er steget i løbet af de sidste mange år, og Apple har opkøbt flere AR/VR-virksomheder, da det fremmer sit arbejde i AR/VR-området.

Det forlyder, at Apple i det mindste arbejder på to AR-projekter, der inkluderer et augmented reality-headset, der udgives lige omkring 2022 efterfulgt af et slankere par augmented reality-briller, der kommer på et senere tidspunkt. Mange rygter har udelukkende fokuseret på brillerne, hvilket dog har ført til en vis forvirring om Apples planer, men det ser ud til, at AR/VR-headsettet vil være det første produkt, der lanceres.

Apple-analytiker Ming-Chi Kuo tror på Apples 'mixed reality'-headset vil komme ud i slutningen af ​​2022 eller begyndelsen af ​​2023, med Apple-brillerne til at følge i 2025, selvom andre kilder har sagt, at brillerne kommer i 2023. Headsettet er AR/VR, også kendt som mixed reality, mens Apples briller er augmented reality.

Mixed Reality headset

Oplysningerne og Bloomberg har begge sagt, at Apple arbejder på smarte briller OG et AR/VR-headset (alias mixed reality), hvor headsettet skal ud først efterfulgt af brillerne. Det forlyder, at headsettet ligner Facebooks Oculus Quest virtual reality-headset, men med et slankere design, der bruger stoffer og lette materialer for at sikre, at headsettet er behageligt.

Det siges at være med to højopløselige 8K-skærme og øjenregistrerende kameraer, der vil lade brugerne 'læse små skrifttyper' og 'se andre mennesker stå foran og bagved virtuelle objekter.' Headsettet vil være i stand til at kortlægge overflader, kanter og dimensioner af rum med 'større nøjagtighed end eksisterende enheder på markedet'. Den vil have en mere avanceret skærm og en chip, der er endnu hurtigere end M1-processoren i 2020 Macs.

Oplysningerne i februar sagde, at det vil være udstyret med mere end et dusin kameraer til at spore håndbevægelser ud over kameraer til at se omverdenen, og designet blokerer perifert syn for at forhindre lys i at lække ind i bærerens synsfelt. Der kan også være et udadvendt visir indbygget i skærmen for at give brugeren mulighed for at vise grafik til andre.

The Elec hævder det VR-headsettet vil have en høj opløsning mikro OLED-skærm med op til 3.000 pixels pr. tomme. En mikro OLED-skærm var tidligere rygtet for de smarte briller, men ikke VR-headsettet.

Apple-analytiker Ming-Chi Kuo har sagt, at Apples kommende mixed reality-headset vil indeholde 15 optiske kameramoduler i alt. Otte af de 15 kameramoduler vil blive brugt til gennemsigtige augmented reality-oplevelser, seks moduler vil blive brugt til 'innovativ biometri', og et kameramodul vil blive brugt til miljødetektion.

Kuo mener også at Apples headset bliver udstyret med et avanceret eye-tracking-system, der bruges til at give en intuitiv visuel oplevelse, der interagerer problemfrit med det eksterne miljø, sammen med mere intuitiv betjening, der kan styres med øjenbevægelser og reduceret beregningsbyrde i form af en reduceret opløsning, hvor brugeren ikke kigger.

Designmæssigt er headsettet blevet beskrevet som at have et 'slankt, buet visir fastgjort til ansigtet af et mesh-materiale og udskiftelige pandebånd.' Et hovedbånd har angiveligt rumlig lydteknologi som AirPods Pro for en surround-lydslignende oplevelse, mens et andet giver ekstra batterilevetid, mens du er på farten. Apple arbejder på flere kontrolmetoder, herunder en 'fingerbøl-lignende enhed, der skal bæres på en persons finger.' Headsettet ville også være i stand til at reagere på brugerens øjenbevægelser og håndbevægelser, mens en prototype af headsettet også havde en fysisk skive på visirets side. Apple har også testet Siri-input.

Apple vil gerne oprette en App Store til headsettet med fokus på spil, streaming af videoindhold og videokonferencer. Det er blevet beskrevet af Bloomberg som et 'altomfattende 3D digitalt miljø' designet til spil, se video og kommunikation.

Nuværende headset prototyper siges at veje omkring 200 til 300 gram, men Apple sigter mod at reducere slutvægten til 100 til 200 gram, hvis tekniske problemer kan løses, hvilket ville gøre headsettet lettere end eksisterende VR-enheder. Headsettet vil være bærbart med uafhængig strøm og lagring, men det vil ikke være 'mobilt' som en iPhone. Det vil give en 'omspændende oplevelse', der overgår aktuelt tilgængelige VR-produkter, og det kan integreres med Apple TV+ og Apple Arcade.

Augmented reality-funktionaliteten til headsettet er 'mere begrænset', og selvom en udgivelse er planlagt til 2022, siges Apple at have ramt adskillige udviklingshinder og har 'konservative' salgsestimater for enheden. Apple forventer at sælge cirka 180.000 enheder, hvilket er på niveau med dyrere enheder som Mac Pro. Headsettet forventes at være meget dyrere end headset fra andre virksomheder, og Oplysningerne siger, at Apple har diskuteret at prissætte headsettet til omkring .000.

Det oprindelige design omfattede en blæser og kraftige processorer, hvilket resulterede i en enhed, der var for tung. Apple besluttede angiveligt at bringe headsettet tættere på ansigtet for at skære ned på størrelsen. Brugere vil ikke være i stand til at bære briller, mens de bruger headsettet, så Apple har skabt et system, hvor brugerdefinerede receptlinser kan indsættes over VR-skærmene.

Kuo mener, at headsettet vil bruge et hybrid Fresnel-objektivdesign , der omfatter tre stablede linser pr. øje lavet af letvægtsplastik. Formålet er, at designet er at muliggøre ultrakorte brændvidder og forbedret optisk ydeevne, samt et bredt synsfelt, og holde headsettets vægt under 150 gram.

Med hensyn til strøm vil det kommende AR/VR-headset have en avanceret hovedprocessor det ligner den M1-chip, som Apple debuterede for sine Apple-silicium-Mac'er sidste år, sammen med en lavere processor til styring af de sensorrelaterede aspekter af enheden.

Apple-analytiker Ming-Chi Kuo hævder, at den vil være i stand til at fungere uafhængigt uden at være afhængig af en Mac eller iPhone, hvilket er en afvigelse fra et tidligere rygte, der sagde, at det ville kræver en tøjring til en iPhone. Den kraftige chip i headsettet vil drive et par 4K Micro OLED-skærme fra Sony og seks til otte optiske moduler for at give AR-baseret funktionalitet. Apple har afsluttet arbejde på SoC'en til AR/VR-headsettet og vil optimere til trådløs datatransmission, komprimering og dekomprimering af video og strømeffektivitet for maksimal batterilevetid, og den har ikke en neural motor som nogle af Apples andre chips.

Apples kommende mixed reality-headset vil tilbyde WiFi 6E support, som er den seneste WiFi-specifikation. Det siges, at Apple planlægger at implementere WiFi 6E for at give en avanceret, fordybende oplevelse med solid trådløs forbindelse. WiFi 6E har alle fordelene ved WiFi 6, men tilføjer 6GHz-spektrum ud over 2,4GHz- og 5GHz-båndene for øget båndbredde og mindre interferens mellem enheder.

Mixed Reality Headset-gengivelser

Designer Antonio De Rosa har udviklet 3D-gengivelser baseret på detaljer delt af Oplysningerne , hvilket giver os et kig på, hvordan Apples mixed-reality-headset kan se ud baseret på aktuelle rygter.

Oplysningerne har beskrevet headsettet som et 'slankt, buet visir fastgjort til ansigtet af et mesh-materiale og udskiftelige pandebånd', der tilbydes i flere farver.

Tidlige headset-prototyper

Tidligere rygter fra CNET i 2018 foreslog, at Apple arbejdede på et kraftfuldt AR/VR-headset med en 8K-skærm for hvert øje, der ville være frigjort fra enten en computer eller en smartphone, og det ville fungere med både virtual og augmented reality-applikationer.

I stedet for at stole på en forbindelse til en smartphone eller en computer, headsettet CNET beskrevet ville oprette forbindelse til en 'dedikeret boks' ved hjælp af en højhastigheds-kortrækkende trådløs teknologi kaldet 60GHz WiGig. Boksen ville blive drevet af en brugerdefineret 5-nanometer Apple-processor, der er 'mere kraftfuld end noget andet tilgængeligt i øjeblikket.' Boksen ligner tilsyneladende et pc-tårn, men det 'vil ikke være en egentlig Mac-computer.' Dette kasselignende design var genstand for tidlige rygter og kan være en prototype, der siden er blevet forladt for den slankere version, som rygterne nu beskriver.

Interne uenigheder siges at have formet og ændret Apples mål for deres AR-headset over tid. Apple var i første omgang sigtede for et ultra-kraftfuldt system, der kom med en hub til at huse processoren som beskrevet ovenfor, men Jony Ive, som siden har forladt virksomheden, ønskede ikke at sælge en enhed, der ville kræve en separat, stationær enhed for fuld funktionalitet.

Jeg ville i stedet have et headset med mindre kraftfuld teknologi, der kunne indlejres direkte i enheden, men lederen af ​​AR/VR-teamet, Mike Rockwell, ønskede den mere kraftfulde enhed. Det var et standoff, der varede i flere måneder, og Tim Cook sluttede sig til sidst med Ive. Det siges, at jeg foretrækker de smarte AR-briller, der også er på vej.

AR smarte briller

Apple arbejder på et sæt augmented reality-briller, som Leaker Jon Prosser har foreslået Apple vil kalde 'Apple Glass'. Det navn ville være et usædvanligt valg i betragtning af ligheden med navnet på Google Glass, et produkt, der eksisterede længe før Apples arbejde med AR-briller kom frem, så det er måske ikke nøjagtigt.

Brillerne siges at ligne almindelige briller, hvor begge linser har displays, der kan interageres med ved hjælp af bevægelser. Der vil være mulighed for at få brillerne uden receptpligtige linser til en mulig startpris på 9, med receptpligtige linser tilgængelige mod et ekstra gebyr.

Ifølge Bloomberg , brillerne er i et tidligt udviklingsstadium , endda tidligere end det AR/VR-headset, som Apple arbejder på. Brillerne er blevet beskrevet som 'adskillige år væk', selvom Apple oprindeligt havde planlagt at frigive dem så tidligt som i 2023. Den nuværende prototype ligner avancerede solbriller med tykke stel, der rummer batteriet og chips.

Apple er angiveligt planlægger at bruge 'cutting edge' OLED-mikroskærme leveret af Sony til deres rygter om augmented reality-briller. Sonys OLED-mikroskærme har en ultrahurtig responsrate, ultrahøj kontrast, et bredt farveskala, høj luminans, lav reflektans og integrerede drivere for et tyndt og let design. Brillerne siges at have en 0,5-tommer skærm med en opløsning på 1280x960.

Kuo forventer, at AR-brillerne vil blive markedsført som et iPhone-tilbehør og primært vil spille en skærmrolle, der aflaster computere, netværk og positionering til iPhone, med brillerne at sørge for en mobil-først 'optisk gennemsigtig AR-oplevelse'. At tilbyde AR-brillerne som et iPhone-tilbehør vil give Apple mulighed for at holde dem slanke og lette. Prosser siger, at brillerne vil ligne Ray-Ban Wayfarers eller de briller, som Tim Cook bærer.

Bloomberg har sagt, at Apple-brillerne vil køre 'rOS' eller reality-operativsystem. rOS siges at være baseret på iOS, operativsystemet der kører på iPhone. Til AR-headsettet er Apple ved at udvikle en 'system-på-en-pakke'-chip svarende til hvad der er i Apple Watch, selvom den vil stole på iPhone som nævnt ovenfor.

I løbet af udviklingen af ​​et AR-headset har Apple overvejet berøringspaneler, stemmeaktivering og hovedbevægelser som inputmetoder, og en række applikationer fra kortlægning til sms er ved at blive prototype. Virtuelle mødelokaler og 360-graders videoafspilning er også koncepter, der udforskes.

Troede der var første rygter af en lancering i 2020 , Bloomberg mener AR-briller kunne komme er år væk fra udgivelsen, med VR-headsettet, der udkommer i 2022. En rapport fra DigiTimes foreslog, at Apples AR-briller vil lanceres i 2021, og Apple-analytiker Ming-Chi Kuo forventer en lancering i 2022 tidligst .

Lækager Jon Prosser mener, at Apple vil afsløre sine AR-briller i marts eller juni 2021, men det virker unøjagtigt givet skøn fra Bloomberg og Kuo.

Prosser siger også, at Apple arbejder på en limited edition 'Steve Jobs Heritage'-version af de smarte briller, der er designet til at ligne de runde, rammeløse briller, som Steve Jobs plejede at have på, men Bloomberg 's Mark Gurman har kaldt dette rygte 'komplet fiktion'.

Apple er arbejder med TSMC at udvikle 'ultra-avancerede' mikro OLED-skærme, der vil blive brugt i Apples kommende augmented reality-enheder som de smarte briller. Skærmene siges at være mindre end en tomme i størrelse.

Micro OLED-skærme er bygget direkte på chipwafere i stedet for et glassubstrat, hvilket resulterer i skærme, der er tyndere, mindre og mere strømbesparende. Udvikling på mikro OLED-skærme siges at være i prøveproduktionsstadiet, og det vil vare flere år, før Apple og TSMC er klar til masseproduktion, hvilket ville gøre disse skærme passende til de Apple-briller, der rygtes at lanceres engang omkring 2023.

Fra begyndelsen af ​​2021, Apple siges at være går ind i en 'anden udviklingsfase' på en prototype af augmented reality-briller. Brillerne er indstillet til at gennemgå en tredje udviklingsfase om et par måneder, og når prototypedesignet er færdigt, vil den bærbare enhed gennemgå en periode på seks til ni måneder med teknisk verifikation.

iOS 14 AR-lækager

Kode og billeder fundet i iOS 14 bekræfte Apples arbejde med et AR- eller VR-headset, med et opdaget billede, der viser en generisk controller til et headset, der i design ligner HTC Vive Focus-headsettet. Apple har brugt HTC Vive-hardware til interne testformål.

Apple tester sit AR-udstyr med en iOS 14-app kaldet Gobi sammen med QR-koder for at teste augmented reality-oplevelser. En af disse augmented reality-oplevelser er et crosswalk bowlingspil, der udløses ved et specifikt crosswalk i Sunnyvale, Californien.

AR i Xcode

Koden i Xcode 11 bekræfter Apples arbejde på en slags AR-headset. Der er referencer til kodenavnede testenheder plus rammer og en systemskal relateret til disse enheder. Referencerne antyder, at Apple udvikler support til en ansigtsmonteret AR-oplevelse, der ligner Googles Daydream.

Ventilpartnerskab?

Ifølge taiwansk side DigiTimes , Apple samarbejder med spiludvikler Valve for dets rygtede AR-headset. Valve udgav sit første VR-headset, Valve Index, i april 2019.

Valve har tidligere arbejdet sammen med Apple for at bringe native VR-headset-understøttelse til macOS High Sierra og udnyttede eGPU-understøttelsen med en Mac-version af SteamVR-softwaren.

Andre rygter

I november 2017 købte Apple Vrvana, et firma, der udviklede et mixed reality-headset kaldet Totem. Vrvanas teknologi kan potentielt bruges i et fremtidigt Apple-headset. Apple fulgte sit køb af Vrvana med et opkøb af Akonia Holographics, et firma, der laver linser til AR smarte briller.

Rygter har også antydet, at Apple kunne inkorporere sin augmented reality-forskning i sit igangværende bilprojekt som en del af et in-car softwaresystem, der kunne omfatte et heads-up display eller andre funktioner.

Bemærk: Ser du en fejl i denne roundup eller vil du give feedback? .

Augmented Reality vs. Virtual Reality

Augmented reality (AR) og virtual reality (VR) er lignende teknologier, men der er stor forskel på dem, og deres potentielle anvendelser varierer meget. Virtual reality refererer til en fuld fordybende oplevelse i en virtuel verden, mens augmented reality refererer til et modificeret syn på den virkelige verden.

Forskellen kan måske bedst opsummeres ved en sammenligning mellem to produkter, en AR og en VR. Google briller , Googles nu hedengangne ​​sæt smarte briller, er et eksempel på augmented reality. Det øjenbårne Google Glass lod brugere se verden, som den er, men det tilbød en heads-up-skærm, der overlejrede relevant computer-leveret information over det virkelige verdensbillede, såsom lokalt vejr, kort og meddelelser.

Dette svarer til, hvad Apple siges at arbejde på med sine rygter om 'smarte briller'.

Til sammenligning Facebooks Oculus Rift er et virtual reality-headset, der tilbyder en fordybende visuel oplevelse, der ikke forstærker den virkelige verden med yderligere sensorisk information - det erstatter fuldt ud den virkelige verden med en simuleret verden.

Augmented reality giver computergenereret kontekst og information om verden omkring os, mens vi tillader os at interagere med vores omgivelser, mens virtual reality er designet til at isolere os fra vores omgivelser, så vi kan interagere med fiktive verdener.

hvordan man ser meddelelser på iphone 11

Potentielle anvendelser for de to er vidt forskellige. Virtual reality er enestående fokuseret på fordybende indholdsforbrug, fordi det får brugeren til at føle, som om de rent faktisk oplever, hvad der foregår i den simulerede verden gennem visuel, taktil og lydfeedback. Virtual reality er i høj grad forbundet med spil lige nu, men det har også potentialet til at genskabe oplevelser fra den virkelige verden til uddannelses- eller træningsformål.

Augmented reality afhænger ikke af fordybende indhold, og selvom det er mindre spændende, fordi det øger virkeligheden i stedet for at erstatte det, har det en bredere vifte af potentielle applikationer. Faktisk er augmented reality-apps og -spil let tilgængelige i iOS 11 takket være ARKit.

Med ARKit er en iOS-enhed i stand til at identificere en overflade som en tabel, og så kan virtuelle objekter tilføjes til den. På grund af iPhone'ens og iPadens computerkraft er ARKits augmented reality-funktioner imponerende. ARKit bliver allerede brugt til at skabe et stort udvalg af apps og spil, der blander digitale objekter med den virkelige verden.

Spil

Apple sigter muligvis efter et produkt, der fungerer med både augmented og virtual reality, som antydet af de seneste rygter, der indikerer arbejde på et AR/VR-headset. Et sådant produkt kunne bruges til seriøse virtual reality-applikationer såvel som augmented reality-oplevelser, og det ville ligne Microsoft HoloLens.

Apples VR/AR-team

Apples arbejde med virtuel og augmented reality går flere år tilbage, men rygterne tog fart fra marts 2015, da nyheden ramte, at Apple havde et lille team af mennesker, der arbejder med augmented reality. I 2015 og ind i begyndelsen af ​​2016 voksede Apples team, da virksomheden ansatte medarbejdere med ekspertise i AR/VR-teknologi og foretog flere relaterede opkøb.

Apples AR/VR-team omfatter flere hundrede ingeniører fra hele Apple, som alle har ekspertise inden for virtual og augmented reality. Holdet arbejder på tværs af kontorparker i både Cupertino og Sunnyvale, og Apple udforsker flere hardware- og softwareprojekter under kodenavnet 'T288'.

Apples augmented reality-team kombinerer 'styrkerne fra dets hardware- og softwareveteraner' og ledes af Mike Rockwell, der kom fra Dolby. Tidligere ansatte i virksomheder som Oculus, HoloLens, Amazon (fra VR-teamet), 3D-animationsfirmaet Weta Digital og Lucasfilm arbejder på AR hos Apple.

Den tidligere Apple hardwareingeniørchef Dan Riccio i januar 2021 overgik til en ny rolle hvor han er tilsyn med Apples arbejde på et AR/VR-headset. Projektet har stået over for udviklingsudfordringer, og Apple-chefer mener, at Riccios fokus kan hjælpe.

Udlejer

En af Apples mest fremtrædende AR/VR-ansatte var professor i datalogi Doug Bowman, som tidligere har ledet Virginia Tech's Center for Human-Computer Interaction. Han har specialiseret sig i tredimensionelt design af brugergrænseflader og har skrevet en bog om emnet, der dækker 3D-grænseflader og fordelene ved fordybende virtuelle miljøer. Han har ekspertise med både virtual og augmented reality.

Apple har også ansat medarbejdere, der har arbejdet med virtual- eller augmented reality-produkter hos Microsoft og Lytro. Nogle nylige ansættelser siges at være fra Microsofts HoloLens-team, mens andre arbejdede hos Lytro, et firma, der arbejder på et kamera, der er i stand til at blande live action og computergrafik til en live action VR-oplevelse. Medarbejdere fra HoloLens-teamet ville have erfaring med at skabe et avanceret augmented reality-headset.

Lytro Immerge 360-graders kamera

Zeyu Li, der tjente som ledende computervisionsingeniør hos Magic Leap (en startup, der udvikler en hovedmonteret AR/VR-skærm), arbejder nu hos Apple som 'Senior Computer Vision Algorithm Engineer'.

Yury Petrov, en tidligere forsker hos Facebook-ejede Oculus, tjener nu som 'forsker' hos Apple. Ifølge hans LinkedIn-profil studerede Petrov virtual reality-oplevelser, prototypeoptik og udviklede computersimuleringssoftware.

Augmented reality-ekspert Jeff Norris kom til Apple i april 2017 som senior manager, der arbejder på virksomhedens augmented reality-team. Norris grundlagde Mission Operations Innovation Office og JPL Ops Lab hos NASA. Han ledede flere projekter med fokus på menneske-system-interaktion med vægt på virtuel og augmented reality.

Apple hyrede i maj 2018 2018 Sterling Crispin , som udviklede en male-app til mobile VR-headset. 'Cyber ​​Paint' lader brugere af VR-headset skabe 2D 260-gradersbilleder på Oculus Go, Daydream, GearVR og Vive Focus. Crispins LinkedIn-side siger, at han arbejder som 'prototyping-forsker', hvilket tyder på, at han har sluttet sig til holdet, der rygtes om at arbejde på VR/AR-headsetteknologi.

Apple hyrede i december 2018 tidligere senior Tesla og Microsoft HoloLens-designer Andrew Kim, og i betragtning af hans historie kunne han arbejde på Apples rygtede AR-brilleprojekt eller dens kommende Apple-bil, der siges at være under udvikling.

Jaunt VR-grundlægger Arthur van Hoff kom til Apple som seniorarkitekt i april 2019. Før han arbejdede hos Apple, var hans virksomhed skabt VR-hardware , herunder et 0.000 3D VR-kamera kaldet Jaunt One. Inden da van Hoff forlod virksomheden, fejlede Jaunt og skiftede til AR-oplevelser.

Med Apples team, der omfatter hundredvis af medarbejdere, er der mange andre ansættelser af virtual reality-eksperter, der er gået under radaren. På LinkedIn er der flere softwareingeniører med virtual reality-erfaring, som er ansat af Apple, men det er uklart, om de arbejder på det hemmelige AR/VR-team.

Apple flyttede i juli 2019 Kim Vorrath, en af ​​dets softwarechefer, over til augmented reality-headsettet division for at 'bringe noget orden' på holdet. Vorrath har overvåget programledelse på softwareudviklingsteamet i 15 år og er blevet beskrevet som en 'stærk kraft', der sørger for, at medarbejderne overholder deadlines, mens de også afhjælper fejl.

Opkøb

Mange medlemmer af Apples AR/VR-team har muligvis sluttet sig til virksomheden gennem opkøb. Siden 2015 har Apple købt flere virksomheder, der har skabt AR/VR-relaterede produkter, og nogle af deres AR/VR-opkøb går endda flere år tilbage.

Apple købte i august 2018 Akonia Holographics, en startup, der laver linser til augmented reality-briller. Akonia Holographics annoncerer 'verdens første kommercielt tilgængelige volumen holografiske reflekterende og bølgelederoptik til gennemsigtige displayelementer i smarte briller.'

De skærme, det fremstiller, siges at bruge virksomhedens HoloMirror-teknologi til 'ultraklar, fuldfarve-ydeevne' for at muliggøre de 'tyndeste, letteste hovedbårne skærme i verden.'

I november 2017 købte Apple Vrvana, et firma, der udviklede et mixed reality-headset kaldet Totem. Totem, som aldrig blev frigivet til offentligheden, blev designet til at kombinere både augmented og virtual reality-teknologier i et enkelt headset, der kombinerer fulde VR-kapaciteter med pass-through-kameraer for at aktivere skærmbaserede augmented reality-funktioner.

Totem brugte i det væsentlige et sæt kameraer til at projicere billeder fra den virkelige verden ind i dens indbyggede 1440p OLED-skærm, en noget unik tilgang, der adskiller den fra konkurrerende produkter som Microsofts HoloLens, der bruger en gennemsigtig skærm til at kombinere virtuel og augmented reality. Apple planlægger muligvis at bruge noget af Totems teknologi i et fremtidigt produkt.

Apple købte det israelsk-baserede 3D kropssensorfirma PrimeSense i 2013, hvilket satte gang i spekulationer om, at bevægelsesbaserede funktioner ville blive implementeret i Apple TV. PrimeSenses 3D-dybdeteknologi og bevægelsesregistreringsfunktioner blev brugt i Microsofts oprindelige Kinect-platform.

PrimeSense brugte nær-IR-lys til at projicere et usynligt lys ind i et rum eller en scene, som derefter aflæses af en CMOS-billedsensor for at skabe et virtuelt billede af et objekt eller en person. Dette muliggør bevægelsesbaserede kontroller til softwaregrænseflader, men det er også i stand til at gøre ting som at måle virtuelle objekter og give relative afstande eller størrelser, nyttigt til augmented reality-applikationer som interaktivt spil, indendørs kortlægning og mere. PrimeSense-teknologien kan også skabe meget nøjagtige 360 ​​graders scanninger af mennesker og objekter, potentielt nyttige til virtual reality-applikationer.

Apple købte augmented reality-startupen Metaio i maj 2015. Metaio byggede et produkt kaldet Metaio Creator, som kunne bruges til at skabe augmented reality-scenarier på få minutter. Inden den blev købt af Apple, blev Metaios software brugt af virksomheder som Ferrari, der skabte et augmented reality showroom.

Metaio-teknologien blev også brugt i Berlin for at give folk, der besøgte Berlinmuren, mulighed for at bruge en smartphone eller tablet til at se, hvordan området så ud, da Berlinmuren stadig stod. Metaios teknologi er en, der potentielt kan bruges til at implementere augmented reality-funktioner i Apple-apps som Maps.

Apple købte Faceshift i august 2015, hvilket markerede sit andet køb af augmented reality i 2015. Før Faceshift blev opkøbt af Apple, arbejdede Faceshift sammen med spil- og animationsstudier om teknologi designet til hurtigt og præcist at fange ansigtsudtryk ved hjælp af 3D-sensorer og transformere dem til animerede ansigter i realtid. Faceshift arbejdede også på et forbrugerorienteret produkt, der ville give folk mulighed for at omdanne deres ansigter til tegneserie- eller monsteransigter i realtid i Skype.

Faceshifts teknologi har en bred vifte af mulige use cases, og Apple ser ud til at bruge funktionen til at drive Animoji i iPhone X.

Emotient, et firma, der byggede værktøjer til analyse af ansigtsudtryk, blev erhvervet af Apple i januar 2016. Emotients teknologi bruger kunstig intelligens og maskinlæring til at læse menneskelige følelser, funktioner, der er blevet brugt i den virkelige verden af ​​annoncører til at bestemme følelsesmæssige reaktioner på annoncer.

Der er snesevis af ting, Apple kunne gøre med Emotient, lige fra bedre ansigtsgenkendelse i Photos-appen til at analysere kundefølelser i Apple-butikker til at låse op for iOS-enheder, men det har også potentielle AR/VR-anvendelser. Ligesom Faceshift kunne Emotients teknologi bruges til at analysere og transformere ansigtsudtryk til skabelse af virtuelle avatarer, nyttige til sociale medieformål og spil. Følelsesmæssig teknologi blev sandsynligvis brugt til Animoji.

Købt i begyndelsen af ​​2016, Flyby Media er en anden virksomhed, der arbejdede på augmented reality. Flyv forbi oprettet en app som fungerede med Googles 3D-sensor-udstyrede 'Project Tango'-smartphone, der gør det muligt at vedhæfte meddelelser til objekter fra den virkelige verden og ses af andre med en af ​​Googles enheder.

For eksempel kunne en person 'scanne' et vartegn som San Franciscos Golden Gate Bridge og skrive en besked knyttet til det. En person, der besøger broen senere, ville så være i stand til at scanne broen med Flyby-appen for at se beskeden. Flyby-appen tiltrak sandsynligvis Apples opmærksomhed, fordi den var i stand til at genkende og forstå forskellige objekter, der blev scannet, teknologi, der kunne bruges af Apple på en række måder i apps som Fotos og Kort.

I februar 2017 købte Apple RealFace, et cybersikkerheds- og maskinlæringsfirma, der specialiserer sig i ansigtsgenkendelsesteknologi, som potentielt kan bruges til fremtidige augmented reality-funktioner.

RealFace udviklede ansigtsgenkendelsesteknologi, der integrerer kunstig intelligens til friktionsfri ansigtsgenkendelse. Realface-teknologi blev sandsynligvis brugt i iPhone X , Apples første smartphone med ansigtsgenkendelsesfunktioner i form af Face ID.

Apple i maj 2020 erhvervede NextVR , et Californien-baseret firma, der kombinerede virtual reality med sport, musik og underholdning og tilbyder VR-oplevelser til at se live-begivenheder på VR-headset fra PlayStation, HTC, Oculus, Google, Microsoft og andre producenter.

Apple i august 2020 købte VR startup Spaces , et firma, der designede virtual reality-oplevelser, som folk kunne opleve i indkøbscentre og andre steder, såsom 'Terminator Salvation: Fight for the Future'. Spaces skabte også virtual reality-oplevelser til videokommunikationsapps som Zoom, hvilket er noget, som Apple potentielt kunne inkorporere i et fremtidigt AR/VR-produkt.

AR / VR patenter

Apple har ansøgt om flere patenter, der relaterer direkte til et virtual reality-headset, alle går flere år tilbage. Selvom teknologien sandsynligvis har udviklet sig noget ud over disse, giver de et interessant kig på de ideer, Apple har udforsket tidligere.

En patentansøgning fra 2008 dækkede et ret grundlæggende 'personligt displaysystem' designet til at efterligne oplevelsen af ​​at være i en biograf, når man ser video.

Et andet patent beskrev et 'hovedmonteret displaysystem' med en 'lasermotor', der projicerede billeder på en klar glasskærm båret over øjnene, svarende til briller. I denne konfiguration er headsettet forbundet til en håndholdt videoafspiller såsom en iPod for at levere processorkraft.

Et tredje patent, der oprindeligt blev ansøgt om i 2008, havde samme design, og dækkede et goggle-lignende videoheadset designet til at lade brugere se film og andet indhold. Den skitserede to justerbare optiske moduler på linje med brugerens øje, som kunne give synskorrektion og give mulighed for visning af 3D-indhold. Apple beskrev dette som at tilbyde en personlig medieoplevelse.

TIL fjerde patent fra 2008 dækkede en video-headsetramme svarende til Google Glass, som ville give en bruger mulighed for at skubbe sin iPhone eller iPod ind i headsettet for at levere video. Headsettet blev beskrevet som et augmented reality-produkt, der ville lade brugere gøre ting som at se en video eller tjekke e-mail, mens de holdt øje med deres omgivelser.

Ud over headset-relaterede patenter har Apple også ansøgt om patenter, der beskriver andre måder, hvorpå virtual og augmented reality-funktioner kan implementeres i deres enheder. En patentansøgning fra 2009 dækkede for eksempel kameraudstyrede 3D-skærme, der ville skifte i perspektiv baseret på en brugers relative position.

En sådan skærm vil detektere hovedbevægelser, hvilket gør det muligt for en bruger at flytte hovedet rundt for at se på et 3D-billede fra forskellige vinkler, samtidig med at de inkorporerer elementer fra en brugers miljø.

Patenter fra 2010 og 2012 beskrev brugen af ​​bevægelsessensorer til at skabe en 3D-grænseflade til iOS-enheder ved hjælp af augmented reality-teknikker. Apple beskrev grænsefladen som et 'virtuelt rum', der navigeres ved at manipulere enhedens orientering gennem indbyggede sensorer eller gennem bevægelser.

I 2011 indgav Apple patent på en augmented reality-funktion i Maps-appen relateret til kortlægning af afstanden til bemærkelsesværdige vartegn. Med kameraet kunne en bruger se på området omkring dem og få estimeringer i realtid af afstanden mellem to punkter sammen med overlejringer af relevant information.

Et patent indgivet i 2014 og udstedt i 2017 dækker et mobilt augmented reality-system, der er i stand til at detektere objekter i miljøet og overlejre dem med virtuel information ved brug af kameraer, en skærm og en brugergrænseflade. Apple beskriver systemet som ideelt til et hovedmonteret display, men det viser også, at det bruges i smartphones.

Apple har arbejdet på virtual reality-teknologi, der kunne være bruges i autonome køretøjer . Adskillige Apple-patenter beskriver et system, der inkluderer et in-car virtual reality-system med et VR-headset, der bæres for at give underholdning og afbøde bilsyge fra opgaver som at læse og arbejde, mens et køretøj er i bevægelse.

TIL juli 2020 patentansøgning dækker mulige inputmetoder med Apple-briller, der beskriver et system, hvor brillerne bruger infrarød varmeføling til at registrere, når nogen rører ved et objekt i den virkelige verden, hvilket gør det muligt for brillerne at projicere kontrolelementer på en overflade i den virkelige verden.

Med denne metode kunne Apple-brillerne projicere i AR-kontrolgrænsefladen på et hvilket som helst faktisk objekt i den virkelige verden for en mixed reality-overlejringseffekt.

Apple i februar 2021 indgivet en række patenter relateret til dets arbejde på et rygtet mixed reality-headset, hvor patenterne dækker designelementer, linsejustering, eye-tracking-teknologi og software.

Apple har udviklet flere metoder til at gøre et headset mere behageligt at have på, samtidig med at det holder det sikkert og blokerer lys, plus der er et detaljeret linsejusteringssystem, der bruger væske til problemfrit at flytte linserne for at tilpasse pasformen til hver bruger.

Apple beskriver også et eye-tracking-system, der bruger infrarødt lys til at registrere position, og der er også et patent på, hvordan dokumenter muligvis kan redigeres i et virtuelt 3D-rum ved hjælp af headsettet og gestusdetektion.

Apple har patenterede systemer til optagelse af video fra et headset, hvor indbyggede bliksporingssensorer kunne give en indikation af, hvor en person aktuelt kigger, hvilket kunne dirigere et indbygget kamera til at optage scenen, hvor brugerens øjne er placeret, i stedet for blot at optage hvad der er foran brugeren.

Endnu en patentansøgning indgivet i februar 2021 viste, at Apple forsker i en fingermonteret enhed med en række sensorer og haptisk feedback, der skal bruges som en kontrolenhed til et mixed reality-headset.

Styreenheden har en form, der gør det muligt for brugerne at føle genstande i deres omgivelser naturligt og præcist kan konstatere, hvordan brugeren bevæger fingeren og interagerer med overflader. Systemet siges at være så nøjagtigt, at det kan registrere, hvor hårdt en bruger trykker på en overflade, og den nøjagtige retning af denne kraft, hvilket giver haptisk feedback som svar.

Sammen med et AR- eller VR-headset siger Apple, at denne fingermonterede enhed kunne 'give en bruger fornemmelsen af ​​at interagere på et fysisk tastatur, når brugeren laver fingertryk på en bordoverflade' eller 'tillade en bruger at levere joystick' -type input' til spil ved kun at bruge bevægelsen af ​​brugerens fingerspidser.

Frokost aftale

Apple-analytiker Ming-Chi Kuo sagde i oktober 2021, at det kommende mixed reality-headset har blevet forsinket tidligst frem til udgangen af ​​2022, hvor produktionen skal begynde i fjerde kvartal af 2022.

Bloomberg mener også, at det AR/VR-headset, som Apple arbejder på, udkommer i 2022, mens de AR-briller, der er under udvikling, vil udkomme på et senere tidspunkt. Oplysningerne har foreslået et AR/VR-headset vil blive frigivet i 2022, efterfulgt af smarte briller i 2023, men dette er en tidligere tidslinje end andre kilder har angivet for brilleproduktet.

Apple er angiveligt bagud med at teste for de smarte briller, der er på vej, hvilket måske kan føre til forsinkelser. Apple skulle gå ind i anden fase af udviklingen af ​​brillerne i begyndelsen af ​​2021, men fase to test er endnu ikke startet, så volumenproduktion i første kvartal af 2022 er ikke forventet .

Morgan Stanley-analytikere sagde for nylig, at AR-headsettet 'nærmer sig liftoff' baseret på antal patenter Apple har offentliggjort. Analytikerne mener, at Apples patentportefølje for deres AR/VR-headset svarer til den patentportefølje, som det byggede forud for lanceringen af ​​Apple Watch.

Fremtidige AR/VR-planer

Apple-analytiker Ming-Chi Kuo mener, at Apple kunne planlægge augmented reality 'kontaktlinser' kunne lancere engang i 2030'erne.

Ifølge Kuo vil linserne bringe elektronik fra æraen med 'synlig databehandling' til 'usynlig databehandling.' Der er 'ingen synlighed' for kontaktlinserne på nuværende tidspunkt, og det er ikke et garanteret produkt, som Apple vil udvikle.