NVIDIA Jetson Xavier / Orin Industrial PCs
Rechner der Jetson Xavier- und der Jetson Orin-Klasse sind sogenannte Systems-on-Chips (SoCs). Sie integrieren alle oder zumindest die entscheidenden Komponenten eines Computers in einer Schaltung. NVIDIA integriert in Jetson-Geräten „klassische“ Prozessoren (CPUs) mit Grafikprozessoren (GPUs: Graphical Processor Units). Jetson Xavier und Jetson Orin sind jeweils ganze Familien von Hardwarelösungen für den Einsatz u.a. in der Robotik, beim Autonomen Fahren sowie beim assistierten Fahren (ADAS: Automatic Driver Assistance System).
Für solche Anwendungen werden – oft von mehreren Kameras gleichzeitig – große Mengen Bilddaten generiert, die fast in Echtzeit verarbeitet werden müssen. Auf den Analysen der Bilddaten basierend trifft eine Künstliche Intelligenz ununterbrochen Entscheidungen über das der jeweiligen Verkehrssituation angepasste Verhalten des Fahrzeugs.
- Mit nur 297g (345g inkl. Gehäuse) extrem niedriges Gewicht
- Bis zu 100 TOPS GPU Rechenleistung dank NVIDIA® Jetson Orin™ NX
- 2x GMSL2 Kamera Ports, CAN Bus, GPIO und UART
- 2x GbE, 2x USB 3.2, 1x DisplayPort, 1x M.2 2230 SSD
- Eingebautes UART und CAN-Interface für Controller
- Unterstützt 4G/5G Kommunikation via micro SIM Socket
- NVIDIA® Jetson AGX Orin™ SoM mit JetPack 5.1.1
- 32/64 GB LPDDR5 RAM
- 6x Gigabit/2.5G Ethernet via RJ45 oder M12
- 1x M.2 2280 NVME SSD
- 2x mini-PCIe für Erweiterungen wie WLAN, CAN etc.
- Betriebstemperatur -25°C bis +70°C (Lüfterlos)
- 8-48 V Weitbereichseingang mit Zündstromkontrolle
- Powered by NVIDIA® Jetson AGX Orin™ SoM
- IP66 waterproof and dustproof
- Supports 8x GMSL2 automotive cameras via FAKRA Z connectors
- 4x PoE+ GbE and 1x 10GBASE-T via M12 X-coded connectors
- 2x isolated CAN 2.0, 1x RS232 and 1x isolated RS485 via M12 A-coded connectors
- Powered by NVIDIA® Jetson AGX Orin™ SoM
- IP66 waterproof and dustproof
- Supports 8x GMSL2 automotive cameras via FAKRA Z connectors
- 4x PoE+ GbE and 1x 10GBASE-T via M12 X-coded connectors
- 2x isolated CAN 2.0, 1x RS232 and 1x isolated RS485 via M12 A-coded connectors
- NVIDIA® Jetson Orin™ NX / Xavier™ NX SOM mit JetPack
- Unterstützung von 4x GMSL2-Fahrzeugkameras über FAKRA Z-Steckverbinder
- 1x 10GBASE-T 10Gb, 1x 1GBASE-T 1Gb Ethernet-Port
- 2x Mini-PCIe-Sockel für WLAN/GNSS/NVMe/CAN-Module
- 1x M.2 3042/ 3052 B Key-Sockel für mobile 4G/5G-Kommunikation
- 1x isolierter CAN 2.0, 1x COM-Port und 1x GPS PPS-Eingang
- NVIDIA® Jetson Orin™ NX oder Xavier™ NX SOM mit JetPack Toolkit
- 4x IEEE 802.3bt PoE++ GbE-Ports
- 2x Mini-PCIe-Sockel für WLAN/GNSS/NVMe/CAN-Module
- 1x 3042/3052 M.2 B Key-Sockel für mobile 4G/5G-Kommunikation
- Gleichstromeingang, 8 bis 35 V, mit integrierter Zündsteuerung
- MIL-STD-810H und EN 50155 Zertifizierung
Paralleles Rechnen auf Grafikprozessoren
Die zur Bildverarbeitung benötigten Recheneinzelschritte sind relativ einfach und sie lassen sich gut parallelisieren. GPUs sind weniger komplex als CPUs aufgebaut, aber Hunderte von ihnen analysieren die Bilderflut von den angeschlossenen Kameras gleichzeitig. Das herkömmliche Rechnen durch lineares Durchlaufen von Algorithmen auf einem oder auf wenigen CPUs wird durch paralleles Rechnen auf sehr vielen GPUs stark beschleunigt.
Die Rechenleistungen für die Bildverarbeitung erreichen mit dem GPU-Konzept kaum vorstellbare Dimensionen. Wir sprechen von Größenordnungen von mehreren 100 Billionen Operationen pro Sekunde (eine Billion (1012) Floating Point Operations (FLOPs) sind ein TeraFLOP). Übrigens lassen sich auch andere Aufgaben als die Bildverarbeitung parallelisieren. „Graphical Computing“ kommt auch bei rechenintensiven Aufgaben wie z.B. der wissenschaftlichen Modellierung und bei Simulationen zum Einsatz.
Speziell in Fahrzeugen sind die Hunderte von TeraFLOPS oder kurz „TOPS“ nicht zentral in einem Rechenzentrum zu erbringen, sondern natürlich vor Ort, z.B. in einem fahrenden Fahrzeug: man spricht vom „Edge Computing“. Dabei ist die Strommenge, die in einem Fahrzeug zur Verfügung steht, begrenzt. Es kommt somit nicht nur auf hohe Rechenleistungen für Bildverarbeitung und künstlich intelligente Entscheidungsfindung (Inferenz) an, diese Rechenleistungen müssen zudem mit möglichst wenig elektrische Energie auskommen.
CUDA
Für parallele Berechnungen auf Hunderten bis Tausenden GPUs entwickelte NVIDIA einen „Programmier-Baukasten“ namens CUDA (Compute Unified Device Architecture), der neben einem Compiler und einer Laufzeitumgebung eine große Auswahl an Bibliotheken zur Verfügung stellt. Die Programmierer können mit bewährten Sprachen wie C, C++, Fortran, Python oder Matlab darauf zugreifen. Die GPU-Prozessorkerne und CUDA, also Hard- und Software, sind von NVIDIA aufeinander abgestimmt. CUDA-fähige GPU-Prozessoren heißen daher auch „CUDA-Kerne“.
Orin vs. Xavier
Die Geräte der Jetson Orin-Klasse sind Weiterentwicklungen der Xavier-Klasse. Mit doppelter Speicherkapazität und einem 1,4-fach größeren Arbeitsspeicher erreicht die Orin-Klasse 3,3-fach mehr Leistung als die Xavier-Klasse – gemessen an der Geschwindigkeit der Entscheidungsfindung (angegeben in „Inferenzen pro Sekunde“). Die NVIDIA-Entwickler arbeiten daran, die Orin-Hardware sogar 5-mal schneller als Xavier-Geräte laufen zu lassen.
Folgende Tabelle zeigt, welche Technologien noch dazu beitragen, Orin vor allem beim Deep-Learning leistungsfähiger zu machen als Xavier:
| Orin | Xavier |
| Integrierter NVIDIA® Deep Learning Accelerator (DLA) als „Hardware-Beschleunigung“ mittels effizienterer Verarbeitung von Daten. | Separate Tensor-Kern-Einheit für Deep-Learning-Operationen, was zu einer höheren Latenz und einem höheren Energieverbrauch führt. |
| Bis zu 12 ARM v8.2-kompatible CPU-Kerne und bis zu 2048 NVIDIA CUDA-Kerne: höhere Parallelität und Verarbeitungskapazität. | Acht ARM v8.2-kompatible CPU-Kerne und 512 NVIDIA® CUDA-Kerne. |
Jetson Anwendungen
Typische Anwendungsgebiete sind naheliegenderweise solche, die hohe Rechenleitungen erfordern und bei denen sich die Rechenschritte parallelisieren lassen, z.B.:
- in der Bildverarbeitung,
- beim maschinellen Lernen,
- beim Deep Learning (die eigentliche Künstliche Intelligenz),
- in der wissenschaftlichen Modellierung etwa der Wetter- und Klimaentwicklung,
- in Algorithmen für Strömungssimulationen
- bei der Bildsynthese für Filme und Computerspiele (Rendern).
Die Success Stories auf https://resources.nvidia.com/l/en-us-jetson-success-stories?ncid=no-ncid vermitteln einen Eindruck von der enormen Anwendungsvielfalt von NVIDIA Jetson Geräten in Industrie, Wissenschaft, Medizin und vielen weiteren Gebieten.