NVIDIA Jetson: arhitektūra, darbs un tās lietojumprogrammas

Izmēģiniet Mūsu Instrumentu Problēmu Novēršanai





Pasaulē vadošā platforma, piemēram, NVIDIA Jetson, ir iegulto skaitļošanas plates, ko galvenokārt izmanto autonomās iekārtās un citās iegultās lietojumprogrammas . Šī plate galvenokārt satur Jetson moduļus, kas ir augstas veiktspējas datori. Jetson ir labi piemērots līdzīgai AI programmatūrai un mākoņdatošanas darbplūsmai, kas tiek izmantota citās NVIDIA platformās, un nodrošina energoefektīvu veiktspēju klientiem, lai izveidotu uz programmatūru balstītas autonomas iekārtas. NVIDIA Jetson tiek izmantots datorredzes lietojumprogrammām. Tātad, šajā rakstā ir apskatīts pārskats par NVIDIA Jetson — darbu un tā lietojumprogrammām.


Kas ir NVIDIA Jetson?

NVIDIA Jetson ir uzlabots iegulšanas sistēma dēlis, ko izmanto, lai radītu novatoriskus AI produktus vairākās nozarēs. NVIDIA Jetson ir viena no vadošajām aparatūras platformām, kas ir ļoti noderīga tehnoloģiju entuziastiem un arī studentiem, lai gūtu praktisku pieredzi, izmantojot virkni novatorisku AI projektu. Šī plate ir ļoti efektīva mākslīgā intelekta plate, kas ietver modulārus, mazas formas un augstas veiktspējas malas datorus. Turklāt šajā platē ir arī JetPack SDK, ko izmanto programmatūras paātrināšanai, kā arī pilnīga ekosistēma, kas palīdz palielināt pielāgotu AI projektu izstrādes procedūru.



  NVIDIA Jetson modulis
NVIDIA Jetson modulis

NVIDIA Jetson arhitektūra

Mēs zinām, ka Nvidia Nvidia Jetson modulis ir iegulto skaitļošanas plates. Visiem Jetson TX1, TX2 un TK1 modeļiem ir Nvidia SoC vai Tegra procesors, kas ietver ARM arhitektūras centrālo procesoru. Šeit Jetson ir mazjaudas sistēma, kas galvenokārt paredzēta, lai paātrinātu mašīnmācīšanās lietojumprogrammas.

NVIDIA Jetson Xavier NX arhitektūra ir parādīta zemāk. Tas ir vismodernākais un mazākais AI superdators, ko izmanto malu skaitļošanas ierīcēm, kā arī autonomā robotika . Šis modulis spēj izvietot servera klases veiktspēju stabilā 70 x 45 mm formātā, kā arī nodrošina līdz pat 21 TOPS skaitļošanas jaudu, kas mazāka par 15 W, pretējā gadījumā līdz 14 TOPS aprēķinu jaudu zem 10 W.



  NVIDIA Jetson Xavier NX arhitektūra
NVIDIA Jetson Xavier NX arhitektūra

Iepriekš redzamajā diagrammā ir iekļauts 384 kodolu NVIDIA Volta GPU ieskaitot 6 kodolu NVIDIA Carmel ARMv8.2 64 bitu centrālo procesoru, 48 tensoru kodolus, 8 GB 128 bitu LPDDR4x, 4K video kodētājus un dekodētājus, divus NVDLA (NVIDIA Deep Learning Accelerator) dzinējus, kameru līdz sešām tūlītējām augstas izšķirtspējas ierīcēm sensoru straumes, divu displeja portu vai HDMI 4K displeji, PCIe 3. paaudzes paplašināšana, USB 3.1 un GPIO ar I2C, SPI, I2S, UART un CAN kopni.

NVIDIA Jetson specifikācijās ir iekļautas šādas specifikācijas.

  PCBWay
  • Jauda ir 10 W vai 15 W režīmi un 5 V ieeja.
  • CPU ir 6 kodolu NVIDIA Carmel 64 bitu ARMv 8.2 ar 1400 MHz.
  • GPU ir 384 kodolu NVIDIA Volta ar 1100 MHz līdz 48 tensoru kodoliem.
  • DL ir divi NVDLA dzinēji.
  • Atmiņa ir 8 GB 128 bitu LPDDR4x ar 1600 MHz.
  • 16 GB eMMC 5.1 krātuve.
  • Kamera ir 12x MIPI CSI-2 joslas | 3×4 vai 6×2 kameras.
  • Līdz 6 kamerām (36, izmantojot virtuālos kanālus).
  • Termiskā temperatūra no -25°C līdz 90°C.
  • Displejs ir DP 1.4 vai eDP 1.4 vai HDMI 2.0 a/b ar 4Kp60.
  • Ethernet ir 10 vai 100 vai 1000 BASE-T Ethernet.
  • USB 3.1 un USB 2.0.

Šo moduli atbalsta viss NVIDIA CUDA-X programmatūras komplekts un arī JetPack SDK AI izstrādei. Tas vienlaikus nodrošina ļoti populāras mašīnmācīšanās sistēmas un sarežģītus DNN vairākās augstas izšķirtspējas sensoru straumēs, kā arī reāllaika datora redzes, grafikas un multivides lietojumprogrammas pilnā galddatoru Linux vidē.

Šobrīd izstrādātāji sāka izstrādāt AI lietojumprogrammas Jetson Xavier NX, izmantojot Jetson AGX Xavier izstrādātāju komplektu. Lietojot ierīces modeļa ielāpu JetPack tuvumā, ierīce darbosies kā Jetson Xavier NX. Tas mainīs ar programmatūru iegūstamo GPU un CPU kodolu skaitu un iestatīs pulksteņa frekvences, kā arī serdeņu spriegumus visā sistēmā.

Plāksteris ir pilnībā atgriezenisks, kas tiek izmantots, lai tuvinātu Jetson Xavier NX veiktspēju. Šis modulis klasificēs noklusējuma jaudas režīmus 10 W un 15 W, sasniedzot 14–21 TOPS maksimālo veiktspēju, pamatojoties uz aktīvo režīmu. Rīks nvpmodel tiek izmantots, lai apstrādātu jaudas profilus, lai pielāgotu augstākās CLK frekvences GPU, CPU, dažādiem SoC pulksteņiem un atmiņas kontrollerim, kā arī dažādiem CPU klasteriem.

Pamatojoties uz darba slodzi, DVFS (dinamiskā sprieguma un frekvences mērogošana) regulators līdzsvaro frekvences izpildlaikā līdz to augstākajām robežām, kā aprakstīts aktīvajā nvp modelī, tādējādi enerģijas patēriņš tiek samazināts tukšgaitā un pamatojoties uz procesora darbību. Nvpmodel rīks palīdz izveidot un pārveidot jaunus jaudas režīmus, pamatojoties uz TDP un lietojumprogrammu prasībām.

NVIDIA Jetson modulis nodrošina superdatora veiktspēju mazā SOM (sistēmas modulī) ietvaros. Vienāds ar 21 TOPS paātrināto skaitļošanu, nosūta zirgspēku, lai paralēli darbinātu pašreizējos neironu tīklus un apstrādātu datus no dažādiem augstas izšķirtspējas sensoriem. Šis modulis ir ideāli piemērots augstas veiktspējas AI sistēmām, piemēram, medicīnas instrumentiem, komerciāliem robotiem, AIoT iegultajām sistēmām, viedajām kamerām, automatizētai optiskajai pārbaudei, augstas izšķirtspējas sensoriem, viedajām rūpnīcām utt.

Programmatūra

NVIDIA Jetson modulis tiek vienkārši atbalstīts, izmantojot kombinētās programmatūras arhitektūras, lai tas programmatūras izstrādātājiem atvieglos darbu. Šī kombinētā pieeja vienkārši ietaupa izstrādātājus no atkārtotas kodēšanas, vienlaikus uzlabojot to veidojumus citos Jetson moduļos.

NVIDIA JetPack SDK ir pieejams ar Linux OS, CUDA-X paātrinātajām bibliotēkām un API dažādām mašīnmācīšanās jomām, piemēram, datora redzei, dziļai mācīšanās u.c. Tā atbalsta arī mašīnmācīšanās ietvarus, piemēram, Caffe, TensorFlow, Keras un OpenCV datorvīziju. bibliotēkas.
NVIDIA Jetson saviem moduļiem piedāvā dažādus programmatūras rīkus, kas ir apskatīti tālāk.

NVIDIA JetPack SDK

Jetson platformas programmatūra Komplekti, piemēram, TensorRT, CUDA Toolkit, cuDNN, GStreamer, OpenCV un Visionworks, tiek samontēti L4T virspusē, izmantojot LTS Linux kodolu.

NVIDIA Jetson Linux draiveru pakotne

Tas nodrošina Linux kodolu, NVIDIA draiverus, sāknēšanas ielādētāju, failu sistēmas paraugus, mirgojošas utilītas un daudz ko citu platformai Jetson.

NVIDIA DeepStream SDK

Tas ir API un bibliotēku kopums, kas palīdz izstrādātājiem izstrādāt un sakārtot spēcīgus IVA (inteliģentās video analīzes) risinājumus Jetson platformā. To izmanto, lai izveidotu sarežģītas lietojumprogrammas, piemēram, kodēšanu, attēlu uzņemšanu, dekodēšanu, secinājumus ar TensorRT utt.

NVIDIA Isaac SDK

Tas ir bibliotēku, API, draiveru un citu rīku komplekts, kas AI pievienos nākamās paaudzes robotiem navigācijai, uztverei un manipulācijām. Tādējādi tas palīdz izveidot un ieviest ar AI darbinātu robotiku.

NVIDIA Jetson veidi

NVIDIA Jetson modulim ir atmiņa, GPU, centrālais procesors, ātrgaitas saskarnes, jaudas pārvaldība utt. Šie moduļi ir pieejami ar dažādu veiktspēju, energoefektivitāti un formas faktoru variācijām, lai tos varētu izmantot dažādās nozarēs. Ir pieejamas dažādas NVIDIA Jetson ierīces, kas ir apskatītas tālāk.

NVIDIA Jetson Nano

NVIDIA Jetson Nano modulis ir piemērots izstrādātājiem vai studentiem, kā arī iesācējiem, jo ​​tas galvenokārt ir paredzēts praktiskai apmācībai un mācīšanai. Šī moduļa izmērs ir mazs, taču tā jaudas efektivitāte un veiktspēja ir augsta, lai tas būtu ideāls, lai vienlaikus darbinātu vairākus paralēlus neironu tīklus, AI darba slodzi un datu apstrādi no augstas izšķirtspējas sensoriem. Tādējādi Jetson Nano modulis ir ļoti populāra malas ierīce, ko izmanto iegulto AI produktu un risinājumu ražošanai.

  NVIDIA Jetson Nano
NVIDIA Jetson Nano

Šis modulis ir lieliski piemērots uz AI balstītām datorredzes lietojumprogrammām, un tas veic AI redzes uzdevumus, piemēram, objektu noteikšanu, attēlu segmentēšanu, attēlu klasifikāciju utt. Šis modulis ir ļoti savietojams ar atvērtā koda datorredzes programmatūru un OpenCV mašīnmācīšanās bibliotēkām.

NVIDIA Jetson TX2 sērija

NVIDIA Jetson TX2 sērijas modulis ir paredzēts kredītkartes izmēram. Šī moduļa funkcijas galvenokārt ietver NVIDIA Pascal GPU, līdz 8 GB atmiņu, 59,7 GB/s atmiņas joslas platumu un standarta aparatūras saskarnes. Šis modulis nodrošina veiktspēju līdz 2,5 reizēm, salīdzinot ar NVIDIA Jetson Nano moduli.

Šis modulis ļoti efektīvi vada dziļos neironu tīklus malas ierīcēs, lai panāktu lielāku precizitāti. Sērijā pieejamie moduļi galvenokārt ietver Jetson TX2 4GB, Jetson TX2i, Jetson TX2 un Jetson TX2 NX. NVIDIA Jetson TX2 NX modulis vienkārši koplieto tapas un formas saderību, izmantojot Jetson Xavier NX un Jetson Nano.

  NVIDIA Jetson TX2 sērija
NVIDIA Jetson TX2 sērija

Pārējiem trim moduļiem būs vienāds oriģinālā Jetson TX2 moduļa formas faktors. TX2 sērija tiek izmantota dažādās nozarēs, piemēram, lauksaimniecībā, ražošanā, zinātnēs par dzīvību, mazumtirdzniecībā utt. Jetson TX2i modulis no pārējiem moduļiem ir vispiemērotākais augstas veiktspējas AI ierīcēm, piemēram, medicīnas iekārtām, mašīnredzes kamerām un rūpnieciskajiem robotiem, jo no tā spēcīgā dizaina.

Šis modulis ir ļoti ātra iegulta mākslīgā intelekta skaitļošanas ierīce, kas piedāvā augstu jaudas efektivitāti, piemēram, 7,5 W, superdatoru iespējas galvenokārt MI ierīcēm, kā arī dažādas aparatūras saskarnes, ko viegli iekļaut dažādos produktos un formas faktoros.

NVIDIA Jetson Xavier NX

NVIDIA Jetson Xavier NX modulis ir ļoti mazs, salīdzinot ar kredītkarti ar augstu veiktspēju un enerģijas efektivitāti. Tas ir pazīstams arī kā pasaulē mazākais AI superdators malām un iegultajām sistēmām. Šis modulis īpaši palīdz darbināt pilnīgas AI sistēmas.

  Xavier NX
Xavier NX

Jetson Xavier NX funkcijas atbalsta arī mākoņdatošanas tehnoloģijas, tāpēc izstrādātājiem ir viegli jaunināt un pārvaldīt AI produktus. Šis modulis atbalsta visus populāros AI modeļus un sistēmas. Tātad šis modulis ir pilnībā piemērots augstas veiktspējas AI sistēmām, piemēram, viedajām kamerām, ar AI darbināmām augstas izšķirtspējas redzes sistēmām, droniem, komerciāliem robotiem vai medicīnas iekārtām.

NVIDIA Jetson Xavier NX modulis nodrošina 21 tera operāciju sekundē jeb TOPS, lai izpildītu pašreizējo AI darba slodzi, patērējot 10 W enerģijas. Šī moduļa formas faktors ir kompaktāks salīdzinājumā ar kredītkarti. Xavier NX modulis vienlaikus darbina dažādus neironu tīklus un apstrādā datus no dažādiem augstas izšķirtspējas sensoriem. Šāda veida moduļus izmanto, lai izstrādātu lietojumprogrammas iegultām un malas skaitļošanas ierīcēm, kurām nepieciešama augsta veiktspēja, lai gan ar ievērojamiem svara, izmēra un jaudas ierobežojumiem.

NVIDIA Jetson AGX Xavier sērija

NVIDIA Jetson AGX Xavier sērijas modulis galvenokārt ir izstrādāts nākamās paaudzes autonomām viedajām mašīnām. Šis modulis nodrošina līdz pat 32 TOPS vai Tera operācijām sekundē AI veiktspēju, ja tiek izmantota tikai 10 vati. Programmatūras izstrādātājam vienkārši ir atļauts ātri sakārtot neironu tīklus, izmantojot NVIDIA AI programmatūras rīku komplektu.

  AGX Xavier sērija
AGX Xavier sērija

Šis modulis nodrošina dažādas specifikācijas un funkcionālās drošības iespējas, lai izstrādātāji izveidotu drošības vai rūpnieciski sertificētus produktus. Šī moduļa augstā veiktspēja var padarīt tos piemērotus daudzām autonomām iekārtām, piemēram, loģistikas un rūpnieciskajiem robotiem, rūpnīcu sistēmām un lieliem droniem.

Jetson Xavier NX izstrādātāja komplekts

Jetson xavier nx izstrādātāja komplektā ir iekļauts stabils energoefektīvs Xavier NX modulis, ko izmanto ar AI darbināmām malu ierīcēm. Šim modulim ir dažas funkcijas, piemēram, mākoņdatošanas atbalsts, un tas paātrina NVIDIA programmatūras kaudzīti tikai ar 10 W ar vairāk nekā 10 reizēm lielāku veiktspēju nekā Jetson TX2. Šo izstrādātāju komplektu izmanto viedo iekārtu ražotāji, AI jaundibinātāji un lietojumprogrammu izstrādātāji, lai izstrādātu modernus produktus ar kompaktu, ļoti precīzu AI secinājumu un energoefektīvu formas faktoru.

  NX izstrādātāja komplekts
NX izstrādātāja komplekts

Jetson AGX Xavier Industrial

Jetson AGX Xavier Industrial modulis ir daļa no AGX Xavier sērijas. Šī moduļa dizains ir ar tapām saderīgs formas faktors, kas kontrolē jaunākos AI modeļus prasīgās lietojumprogrammās. Šis modulis nodrošina paplašinātas vibrācijas, trieciena, temperatūras specifikācijas, uzlabotas drošības funkcijas, līdz pat 4 reizēm lielāku atmiņu un 20 reizēm lielāku veiktspēju nekā TX2i modulim.

  Xavier Industrial
Xavier Industrial

Šis modulis ir ļoti noderīgs dizaineriem automatizācijas, robotikas un citu viedo produktu projektēšanā. Turklāt tas arī izstrādā drošības sertificētus un izturīgus izstrādājumus, kas nodrošina augstu veiktspēju rūpnieciskām, mākslīgā intelekta iegultām funkcionālām un drošības lietojumprogrammām ar izturīgu, kā arī energoefektīvu formu.

Priekšrocības

The NVIDIA Jetson priekšrocības iekļaujiet tālāk norādīto.

  • NVIDIA Jetson ir piemērots studentiem, individuāliem izstrādātājiem un dažādām organizācijām.
  • Jetson platforma ir ļoti populāra, jo tai ir dažādas priekšrocības, piemēram, modulāra elastība, vienota programmatūra un atbalsts mākoņtehnoloģijām.
  • Šī plate nodrošina moduļu komplektu, kas ir ļoti noderīgs visam, sākot no pamata AI lietojumprogrammām līdz ļoti sarežģītām ar AI darbināmām ierīcēm.
  • Šī plate tiek darbināta, izmantojot vienotu programmatūras arhitektūru, kas palīdz izstrādātājiem no atkārtotas kodēšanas. Kad viņiem ir nepieciešama AI/ML jauda, ​​tie var iekļaut ierīcē saistīto Jetson moduli, un tas rūpējas par smaguma celšanu.
  • NVIDIA Jetson platforma vienkārši atbalsta mākoņdatošanas tehnoloģijas un darbplūsmas, piemēram, orķestrēšanu un konteinerizāciju, nodrošinot izstrādātājiem iespēju ātri izstrādāt un paplašināt AI produktus.
  • NVIDIA JetPack SDK ir pieejams ar Linux OS, API un CUDA-X paātrinājuma bibliotēkām dažādiem mašīnmācīšanās domēniem, piemēram, datora redzei un dziļai mācīšanās procesam. Tas arī nodrošina atbalstu mašīnmācīšanās sistēmām, piemēram, Caffe un Keras, TensorFlow un OpenCV datorredzes bibliotēkām.

Trūkumi

Tam ir ļoti maz trūkumu, ņemot vērā cenu

  • NVIDIA Jetson nano modulis nav pieejams ar wifi.
  • NVIDIA Jetson nano modulī ir tikai divas PWM tapas uz tāfeles.

Lietojumprogrammas

NVIDIA Jetson lietojumprogrammas ir šādas.

  • NVIDIA Jetson modulis piedāvā izcilas iegulšanas sistēmas, ko izmanto AI produktu ražošanai dažādiem scenārijiem. Šis ir energoefektīvs modulis, ko izmanto AI, kas ietver augstas veiktspējas, modulārus un maza formas faktora malas datorus.
  • Nvidia Jetson plates galvenokārt ir paredzētas lietošanai iegultās sistēmās, piemēram, dronos, robotos un citās ierīcēs, kurām nepieciešama jaudīga apstrāde nelielā formātā. Jetson dēļu parastie lietojumi galvenokārt ietver medicīniskās ierīces, autonomos transportlīdzekļus, digitālās zīmes, AR/VR austiņas, viedās pilsētas lietojumprogrammas utt.
  • Šis modulis atbalsta vienotas programmatūras arhitektūras, lai programmatūras izstrādātāju darbs būtu ļoti vienkāršs.
    NVIDIA Jetson moduļi un ierīces ir optimizētas malas ierīces, ko izmanto Edge AI sistēmu izstrādei.
  • NVIDIA Jetson Nano Developer Kit ir ļoti jaudīgs un mazs dators, kas paralēli darbina vairākus neironu tīklus dažādām lietojumprogrammām, piemēram, objektu noteikšanai, attēlu klasifikācijai, runas apstrādei un segmentēšanai.
  • NVIDIA Jetson Nano modulis ir lieliski piemērots datorredzes lietojumprogrammām, kuru pamatā ir AI, un tās veic AI redzes uzdevumus, piemēram, attēlu segmentēšanu, attēlu klasifikāciju, objektu noteikšanu utt.
  • NVIDIA Jetson nano moduļi sniedz neticamas jaunas iespējas tūkstošiem energoefektīvu un mazu AI sistēmu
  • NVIDIA Jetson Nano modulis ir savietojams ar OpenCV mašīnmācīšanās bibliotēkām un atvērtā koda datorredzes programmatūru.

Q). Kāds ir Jetson moduļu enerģijas patēriņš?

A). Jetson moduļa enerģijas patēriņš atšķiras atkarībā no modeļa un lietojuma. Piemēram, Jetson Xavier moduļa tipiskais enerģijas patēriņš ir aptuveni 15 w līdz 30 w, savukārt Jetson TX2 var patērēt no 7 w līdz 15 w.

Q). Vai Jetson var izmantot objektu noteikšanai un izsekošanai reāllaikā?

A). Jā, Jetson Platforms var apstrādāt redzes noteikšanu un izsekošanu. Nano modulis ir augstas veiktspējas GPU ar malu skaitļošanas platformu, ko galvenokārt var izmantot noteikšanai, skaitīšanai un izsekošanai.

Q). Ar kādiem sensoru veidiem Jetson var saskarties?

A). Redzes sensori tiek izmantoti, lai Jetson savienotu ar dažādām kameru saskarnēm, piemēram, USB, MIPI CSI un Ethernet. Tie var arī saskarties ar lidar, ultraskaņas sensoru un citiem veidiem, kā arī izmantojot dažāda veida saskarnes, piemēram, I2C, SPI utt.

Q). Kāda ir atšķirība starp Jetson un Raspberry Pi?

A). Galvenā atšķirība starp šiem diviem dēļiem ir; NVIDIA Jetson tika izstrādāts, lai veiktu ļoti sarežģītus AI un datorredzes uzdevumus, savukārt Raspberry Pi 4 platei ir mazjaudas multivides GPU, ko izmanto vispārējai skaitļošanai un izglītībai. Jetson var izmantot progresīvākām funkcijām, piemēram, ar aparatūru paātrinātai video dekodēšanai un kodēšanai, izmantojot tā jaudīgo GPU (grafiskās apstrādes bloku) un centrālo procesoru (centrālo procesoru).

Q). Vai Jetson var izmantot autonomām robotikas lietojumprogrammām?

A). Rītdienas autonomā robotika un rūpniecība tiks darbināta ar NVIDIA Jetson viedajām mašīnām un robotiem.

Tādējādi tas ir pārskats par NVIDIA Jetson – priekšrocības un to pielietojums. Šis modulis ir vadošā platforma visā pasaulē, ko izstrādātāji izmanto, lai izstrādātu progresīvus mākslīgā intelekta produktus visās nozarēs. Šos moduļus izmanto arī studenti un arī entuziasti, lai gūtu praktisku pieredzi mākslīgā intelekta apguvē, lai izveidotu pārsteidzošus projektus. Jetson platforma galvenokārt ietver energoefektīvus, mazus izstrādātāju komplektus un ražošanas moduļus. Šeit ir jautājums jums, kas ir NVIDIA?