Persönlich in Trenčín haben wir mit der kaufmännischen Leitung des Unternehmens Hailo über den Aufbau eines Ausbildungs- und Anwendungszentrums für Edge Computing gesprochen. Unser Ziel ist es nicht nur zu lehren, wie man mit diesen Prozessoren arbeitet, sondern uns auch an der Entwicklung zu beteiligen — an Referenzdesigns, an der Portierung von Modellen, an einer Methodik zur Validierung der Quantisierung und an jener Sicherheitsschicht, die ein industrieller Einsatz in Europa braucht.
Abstract
Das Institut für fortgeschrittene Studien hat mit Hailo, dem israelischen Hersteller von Prozessoren für Edge Computing — die Inferenz neuronaler Netze direkt im Gerät (Edge AI), über den Aufbau eines Ausbildungs- und Anwendungszentrums für Entwurf und Bau von Systemen auf dieser Plattform gesprochen. Neben der Ausbildung erklären wir unser Interesse, uns an der Entwicklung zu beteiligen — an Referenz-Hardwaredesigns für industrielle Umgebungen, an der Portierung und Optimierung von Modellen, an einer Methodik zur Überprüfung des Quantisierungsverlusts sowie an der Sicherheits- und Auditschicht, ohne die sich in Europa heute nichts einsetzen lässt, was unter NIS2 oder die KI-Verordnung fällt. Dieser Artikel beschreibt ausführlich Architektur und Produktpalette von Hailo, die Konsequenzen, die sich aus dieser Architektur für den Systementwurf ergeben und die wir in eigenen Projekten überprüft haben, und die Kompetenzen, auf denen die Bewerbung beruht — von nanometerdünnen Schichten am Institut für Physik der Slowakischen Akademie der Wissenschaften über Entwurf und Modellierung von Mikroprozessoren und FPGA-Entwicklung bis zu produktiv betriebenen KI-Systemen mit einer Bibliothek von über 462 Modellen.
Schlüsselwörter: Edge AI · Inferenzbeschleuniger · Dataflow-Architektur · INT8-Quantisierung · FPGA · Ausbildungszentrum · NIS2 · Datensouveränität
1. Worum es bei dem Treffen ging
Die Gespräche fanden persönlich in Trenčín mit Vertretern der kaufmännischen Leitung von Hailo statt. Wir danken ihnen, dass sie für dieses Treffen einen so weiten Weg auf sich genommen haben — ein Besuch vor Ort sagt mehr über ernsthaftes Interesse aus als jede Präsentation. Gegenstand waren zwei miteinander verbundene Vorhaben.
Erstens — das Ausbildungszentrum. In der Slowakei und im weiteren mitteleuropäischen Raum klafft eine deutliche Lücke zwischen dem, was Unternehmen über künstliche Intelligenz hören, und dem, was sie tatsächlich bauen und im Betrieb halten können. Ein Absolvent einer technischen Universität kann ein Modell in PyTorch auf dem Notebook trainieren. Deutlich weniger Menschen können dasselbe Modell auf einen Inferenzbeschleuniger kompilieren, messen, um wie viel es sich nach der Quantisierung verschlechtert hat, und ein Gehäuse entwerfen, das fünf Jahre in einer Halle mit Aerosolen und Temperaturwechseln übersteht. Genau dieser — ingenieurtechnische, nicht forschende — Teil der Kette fehlt.
Zweitens — Beteiligung an der Entwicklung. Wir wollen nicht bloß Betreiber eines Schulungsraums sein. Wir haben Interesse, uns an der Entwicklung zu beteiligen: an Referenzdesigns für den industriellen Einsatz, an der Portierung und Optimierung von Modellen für konkrete Branchen, an einer unabhängigen Methodik zur Messung des Quantisierungsverlusts und an einer Sicherheitsschicht für den europäischen Rechtsrahmen. Unsere bisherigen Projekte auf dieser Plattform entstanden nicht als Demonstration, sondern als Antwort auf eine Kundenaufgabe — und gerade dort wurde sichtbar, wo im Ökosystem die weißen Flecken liegen.
Wir verstehen das als Herausforderung — eine technische ebenso wie eine organisatorische. Ein Zentrum aufzubauen, das Menschen lehrt, funktionierende Systeme zu bauen, und zugleich an der Entwicklung jener Plattform mitzuwirken, auf der wir sie bauen, ist genau die Art von Aufgabe, für die das Institut gegründet wurde.
2. Hailo — wer das ist und was dort anders gemacht wird
2.1 Das Unternehmen
Hailo ist ein israelisches fabless Halbleiterunternehmen, gegründet 2017 (Orr Danon, Avi Baum, Hadar Zeitlin). Es baut weder universelle Grafikbeschleuniger noch Trainingschips für Rechenzentren — es konzentriert sich auf Edge Computing: auf Geräte, bei denen das Modell dort läuft, wo die Daten entstehen, mit einem Budget von wenigen Watt und ohne Cloud-Anbindung. Nach öffentlich zugänglichen Angaben arbeitet das Unternehmen nach der Serie C (2024) mit einer Gesamtfinanzierung in der Größenordnung von Hunderten Millionen Dollar, und seine Architektur ist in Hunderten Kundenprogrammen im Automobilbereich, in Sicherheitssystemen, in Smart City, in der Industrie 4.0 und im Einzelhandel im Einsatz.
2.2 Warum Dataflow und nicht noch eine GPU
Entscheidend ist die Architektur, die Hailo als structure-defined dataflow bezeichnet. Der Unterschied zum klassischen Rechenmodell ist grundsätzlich und lohnt eine genaue Erklärung, denn alles Weitere folgt daraus — Leistung, Leistungsaufnahme und Grenzen gleichermaßen.
Das klassische von-Neumann-Modell (CPU, in weiten Teilen auch GPU): die Recheneinheit ist universell, Programm und Daten fließen aus dem Speicher über einen Bus, und bei jeder Schicht des neuronalen Netzes werden Gewichte und Zwischenergebnisse zwischen Rechenkern und externem DRAM verschoben. Bei Faltungsnetzen ist dieses Verschieben energetisch teurer als die Multiplikation selbst. Ein Zugriff auf externen DRAM kostet größenordnungsmäßig zwei Zehnerpotenzen mehr Energie als eine arithmetische Operation — und deshalb verbraucht eine Grafikkarte bei der Inferenz Hunderte Watt.
Das Dataflow-Modell (Hailo): das Netz wird nicht als Folge von Befehlen ausgeführt, sondern in die Struktur des Chips abgebildet. Der Compiler zerlegt den Modellgraphen in Schichten und weist jeder eigene Rechenressourcen und eigenen lokalen Speicher direkt auf dem Silizium zu — je nachdem, wie viel die Schicht tatsächlich benötigt. Die Daten fließen dann zwischen den Schichten über den Chip, nicht hin und zurück in den DRAM. Der Hailo-8 hat überhaupt keinen externen Speicher: der gesamte Speicher ist auf dem Chip integriert.
Die Folgen:
| Eigenschaft | Folge der Dataflow-Architektur |
|---|---|
| Energieeffizienz | der dominierende Anteil des Verbrauchs — Transfers in den externen DRAM — entfällt. Das Ergebnis ist ein um Größenordnungen besseres Verhältnis von Leistung zu Watt als bei universellen Beschleunigern. |
| Deterministische Latenz | das Modell hat auf dem Chip eine reservierte Struktur; es konkurriert nicht mit anderen Aufgaben um Ressourcen. Die Inferenzzeit ist konstant, nicht durchschnittlich. Für einen Prozess, der dokumentiert und belegt werden muss (Fertigung, Verkehr, Sicherheit), ist Vorhersagbarkeit wertvoller als Spitzenleistung. |
| Pipelining auf Netzebene | während Schicht n das Bild k berechnet, verarbeitet Schicht n−1 bereits Bild k+1. Der Durchsatz wird nicht durch die Tiefe des Netzes begrenzt. |
| Was das verlangt | das Modell muss vorab kompiliert und platziert werden. Der Chip ist kein Universalprozessor — er führt keinen beliebigen Code aus und kann sich zur Laufzeit nicht an ein Netz anpassen, das nicht hineinpasst. |
Wer je für ein FPGA entworfen hat, erkennt hier ein vertrautes Muster: das ist räumliches Rechnen. Statt dass eine universelle Einheit zeitlich zwischen Aufgaben umschaltet, wird die Aufgabe über die Siliziumfläche ausgebreitet und die Daten fließen hindurch. Dieselben Abwägungen — Fläche gegen Durchsatz, Pipelinetiefe gegen Latenz, Platzierung und Verdrahtung von Ressourcen — treten auch hier auf. Darauf kommen wir im Abschnitt über unsere Kompetenzen zurück, denn es ist nicht bloß eine Analogie; es ist unmittelbar übertragbare Erfahrung.
2.3 Die Produktpalette
Nach Herstellerangaben (Stand August 2026):
| Produkt | Rechenleistung | Speicher | typische Leistungsaufnahme | Bauform | Bestimmung |
|---|---|---|---|---|---|
| Hailo-8 | 26 TOPS | vollständig on-chip integriert (ohne externen DRAM) | 2,5 W typisch | M.2 (Key M / B+M), mPCIe (Hailo-8R), PCIe-Karte | Kern der Palette — Detektion, Klassifikation, Segmentierung, Mehrkamerasysteme |
| Hailo-8L | 13 TOPS | on-chip | einstellige Wattzahl | M.2 | Einstiegsklasse, preissensitive Anwendungen |
| Hailo-8 Century | 52 – 208 TOPS (je nach Bestückung) | on-chip | 15 – 75 W | PCIe-HHHL-Karte ×8/×16 | Serverkonsolidierung — Dutzende paralleler Streams in einer Maschine |
| Hailo-10H | 40 TOPS INT4 / 20 TOPS INT8 | LPDDR4/4X (extern, wegen großer Modelle) | 2,5 W typisch | M.2-Modul und eigenständiger Chip | generative KI im Edge Computing — Sprachmodelle (LLM) und visuell-sprachliche Modelle (VLM), ASR |
| Hailo-15 (15H / 15M / 15L) | 7 – 20 TOPS | LPDDR (15L bereits ab 1 GB) | 15L < 3 W | Vision-Prozessor-SoC | KI direkt in der Kamera: ISP, HDR, Rauschminderung, Videokodierung und Inferenz in einem Baustein |
Ergänzende Parameter, die über den industriellen Einsatz mehr entscheiden als TOPS:
- Temperaturbereich: Industrieklasse −40 °C bis +85 °C, Automobilklasse −40 °C bis +105 °C. Die Module brauchen keine aktive Kühlung — sie passen in den Schaltschrank neben der Linie.
- Qualifikation: Entwicklungsprozess nach A-SPICE L2, Konformität mit AEC-Q100 Grade 2 und ISO 26262 ASIL-B(D) für Automobilanwendungen.
- Host: x86 und ARM, Betriebssysteme Linux und Windows, beim Hailo-10H auch Android.
Eine Anmerkung zu den Zahlen: TOPS ist eine Vergleichsgröße, nicht die Leistung eines konkreten Modells. Sie sagt, wie viele Ganzzahloperationen der Chip im Idealfall bewältigt, nicht wie viele Bilder pro Sekunde durch Ihr Modell bei Ihrer Auflösung gehen. Wir nutzen sie zur groben Dimensionierung; die Entscheidung fällt immer erst nach der Messung des konkreten Modells auf konkreten Daten.
2.4 Die Softwarekette
Bei dieser Hardwareklasse ist die Software die halbe Produktleistung — und in der Praxis genau jene Hälfte, die über den Projekterfolg entscheidet. Die Hailo AI Software Suite besteht aus vier Teilen:
- Dataflow Compiler (DFC) — übersetzt das Modell aus Standardformaten (TensorFlow, TensorFlow Lite, Keras, PyTorch über ONNX) in das Binärformat des Chips. Er führt Graphoptimierung und Quantisierung durch und — das ist der Kern — die Zuteilung und Platzierung der Schichten auf die Rechenressourcen des Chips.
- HailoRT — Laufzeitumgebung und Treiber. Leichtgewichtig, produktionstauglich, als quelloffene Software verfügbar; C/C++- und Python-API, Betrieb auf x86 und ARM.
- Model Zoo — eine Bibliothek vortrainierter und vorkompilierter Modelle samt Umgebung für deren Nachtraining. Der Zweig Model Zoo GenAI enthält vorkompilierte generative Modelle (LLM, VLM, ASR) für den Hailo-10H.
- Beispiele und Integrationen — Referenzanwendungen (Detektion, Kennzeichenlesung, Mehrstrom-Pipelines, Reidentifikation, Segmentierung, Posenschätzung, Kachelung) und Anbindung an übliche Umgebungen: GStreamer, ONNX Runtime, Ollama, REST-Schnittstelle kompatibel mit OpenAI/Ollama.
Aus der eigenen Arbeit mit dieser Kette kennen wir zwei Details, die die Architektur der gesamten Lösung bestimmen:
- Der DFC läuft auf x86_64-Linux. Nicht auf ARM. Der Kompilierungsschritt gehört daher auf die Serverseite — nicht auf das eingebettete Gerät, nicht auf eine ARM-Arbeitsstation. Das mussten wir beim Architekturentwurf für einen Industriekunden berücksichtigen.
- Der Kalibriersatz muss repräsentativ sein. Die Quantisierung wird nach der Verteilung der Aktivierungen auf realen Daten eingestellt; typischerweise in der Größenordnung von 1 000 Bildern aus dem Zielbetrieb. Auf einem öffentlichen Datensatz zu kalibrieren und in die Halle auszurollen ist der häufigste und teuerste Fehler.
Und genau in diesem Bereich wollen wir aktiv werden: im Einsatz von Hailo-Prozessoren in unserer Clusterplattform IOAS Security Cluster (IOASC) — von der Wahl der Bauform und der Dimensionierung des Knotens über Kompilierung und Validierung der Modelle bis zu Betrieb, Überwachung und Service im Feld. Wir haben eine Grundlage: IOASC beruht auf hardwarebeschleunigter Inferenz und einer Bibliothek von über 462 Modellen, deren Register von Anfang an mehrere kompilierte Ausprägungen für unterschiedliche Zielhardware vorsieht.
3. Was die Architektur für den Systementwurf bedeutet
Ein spezialisierter Beschleuniger ist eine bewusste konstruktive Entscheidung: Die hohe Effizienz und die konstante Inferenzzeit werden damit bezahlt, dass ein Teil der Arbeit aus dem Betrieb in die Entwurfsphase verlagert wird. Die folgenden vier Punkte sind daher keine Einwände — es sind Aufgaben für den Planer. Wir haben sie beim Entwurf eines realen Systems für einen Industriekunden formuliert (automatisierte Bewertung der Eindringprüfung an der Fertigungslinie) und halten sie für einen verpflichtenden Bestandteil jedes redlichen Entwurfs:
- Es ist ein Inferenzbaustein — das Training gehört auf eine GPU. Der Beschleuniger führt das Modell aus; trainiert werden muss es anderswo. Braucht der Kunde laufendes Nachtraining bei Prozessdrift (neue Chemikalienschargen, alternde Lichtquelle, veränderte Beleuchtung), ist das keine einmalige Operation, sondern ein wiederkehrender Betriebsbedarf und muss im Entwurf eigene Hardware und ein eigenes Budget haben.
- Die Quantisierung wird durch Messung abgesichert. Der Übergang von FP32 zu INT8 (beim Hailo-10H zu INT4) ist genau das, was dieser Architektur ihre Effizienz gibt — und zugleich eine Veränderung, die man bei der Detektion schwach leuchtender Anzeigen vor dunklem Hintergrund messen und nicht annehmen muss. Deshalb nehmen wir in unsere Lieferungen den Vergleich FP32 gegen kompiliertes Modell auf demselben Evaluierungssatz als Abnahmekriterium auf.
- Unterstützt wird ein definierter Satz von Operationen. Anomaliedetektionsmodelle vom Typ PatchCore/PaDiM werden deshalb in der Praxis geteilt: das Rückgrat (Merkmalsextraktor) läuft auf dem Beschleuniger, die Speicherbank und die Distanzberechnung auf der CPU des Hosts. Das ist eine übliche und gut funktionierende Aufteilung, sie muss aber bei der Dimensionierung von CPU und RAM berücksichtigt werden — sonst wird der Host zum Engpass.
- Leistung entsteht hier durch Entwurf, nicht durch rohe Kraft. Durch Eingabegröße, Kachelung, Architekturwahl und die Aufteilung der Aufgaben zwischen Chip und Host. Das ist Ingenieurarbeit — und genau deshalb lohnt es sich, sie zu lehren, und genau deshalb wollen wir sie machen.
4. Unsere Kompetenzen: vier Schichten, die sich treffen müssen
Ein System auf Basis eines Inferenzbeschleunigers ist eine Grenzdisziplin. Es scheitert stets an einer Schnittstelle: die Physik der Erfassung trifft nicht auf den Schaltungsentwurf, der Schaltungsentwurf nicht auf das Modell, das Modell nicht auf den Betrieb. Unsere Bewerbung stützt sich darauf, dass wir diese vier Schichten gleichzeitig besetzen können — und zwar nicht aus Übersichtsliteratur, sondern aus eigener Praxis.
4.1 Die Schicht der Physik — nanometerdünne Schichten und Sensoren
Der Gründer des Instituts war über acht Jahre wissenschaftlicher Mitarbeiter am Institut für Physik der Slowakischen Akademie der Wissenschaften und befasste sich dort mit magnetischen Vielschicht-Dünnfilmstrukturen — Systemen, in denen die Funktionseigenschaft von Schichtdicken im Bereich einzelner Nanometer und von der Qualität ihrer Grenzflächen bestimmt wird. Daraus entstand eine Reihe von Arbeiten in Vacuum, Thin Solid Films und dem Journal of Physics über Pseudo-Spin-Ventile als Sensorelemente mechanischer Dehnung und über den Einfluss der Verteilung des magnetischen Flusses auf den Riesenmagnetowiderstand in Ag/Co-Vielschichten sowie zwei erteilte Patente auf magnetostriktive Sensoren (WIPO PCT WO2009088378, slowakisches Patent SK 50001/2008). Die Arbeit wird von Gruppen aus der flexiblen Spintronik zitiert, darunter ein Zitat in Nature Electronics.
Warum ist das für ein Projekt über KI-Prozessoren relevant? Aus drei Gründen:
- Wir verstehen Silizium als physikalisches Objekt, nicht als Abstraktion. Wer mit aufgestäubten Schichten, Grenzflächen und deren Degradation gearbeitet hat, versteht, warum Leistungsdichte, Wärmeabfuhr und der Bereich −40 bis +85 °C eine harte Randbedingung sind und keine Zeile in einer Tabelle.
- Wir verstehen den Anfang des Datenpfads. Die Qualität eines Modells ist nach oben durch die Qualität der Erfassung begrenzt. Die meisten „KI-Fehlschläge”, die wir in Unternehmen sehen, sind in Wahrheit Fehlschläge der Sensorik, der Optik oder der Beleuchtung — das Modell hat nur getreu wiedergegeben, was es bekommen hat.
- Wir können einen Sensor entwerfen, nicht nur kaufen. GMR-, Spin-Ventil- und TMR-Magnetsensoren, magnetostriktive Sensoren, Dehnungsmessstreifen, Ultraschall, verteilte faseroptische Sensoren (DFOS).
4.2 Die Schicht des Digitalentwurfs — FPGA und Modellierung von Mikroprozessoren
Die zweite Schicht ist der Entwurf digitaler Systeme: FPGA-Entwicklung, Entwicklung und Modellierung von Mikroprozessorarchitekturen, Mixed-Signal- und HF-Entwurf, Leiterplattenentwurf einschließlich EMV-Vorprüfung, eingebettete Systeme, RTOS-Firmware und Echtzeit-Signalverarbeitungsketten.
Diese Erfahrung ist auf die Hailo-Plattform unmittelbar und nicht metaphorisch übertragbar:
| Erfahrung aus FPGA- und Prozessorentwurf | Anwendung beim Dataflow-Beschleuniger |
|---|---|
| Pipelining, Durchsatz gegen Latenz | Verständnis, warum ein tieferes Netz nicht zwangsläufig geringeren Durchsatz bedeutet — und wann doch |
| Platzierung und Verdrahtung von Ressourcen, Flächenauslastung | Lesen der Compilerausgabe — welche Schicht nicht hineinpasste, welche der Engpass ist, wie das Modell umzubauen ist |
| Systolische Felder und räumliche Matrixmultiplikation | Verständnis, wie sich die Faltung auf die Chipstruktur abbildet — der Kern der gesamten Architektur |
| Festkommaarithmetik, Wortbreiten, Fehlerfortpflanzung | qualifizierte Arbeit mit INT8/INT4-Quantisierung: wo Verlust entsteht, welche Schicht empfindlich ist, wo gemischte Genauigkeit lohnt |
| RTL-Verifikation, taktgenaue Modelle, Referenzmodell gegen Implementierung | die Methodik des Vergleichs FP32 gegen kompiliertes Modell — dasselbe Vorgehen, nur auf anderer Abstraktionsebene |
| Leistungsbudget, Spannungsversorgungsintegrität, thermischer Entwurf | Dimensionierung von Gehäuse und Kühlung für Dauerbetrieb in industrieller Umgebung |
Der Unterschied zwischen jemandem, der ein Modell „irgendwie kompiliert”, und jemandem, der weiß, warum gerade diese Schicht nicht hineinpasste und wie das Netz umzubauen ist, ist genau der Unterschied zwischen einem absolvierten Tutorial und ingenieurtechnischer Kompetenz. Das wollen wir im Zentrum lehren.
4.3 Die Schicht der Modelle und MLOps
Wir betreiben eine Bibliothek von über 462 Modellen des maschinellen Lernens innerhalb der Plattform IntelliTwin und der Clusterlösung IOAS Security Cluster (IOASC) — mit hardwarebeschleunigter Inferenz, mehreren parallelen Kamerastreams auf einer physischen Einheit und einem vollständigen MLOps-Zyklus: Datenerfassung und -kuratierung, DSGVO-konforme Deidentifikation, Training, strukturiertes Pruning, INT8-Quantisierung mit Kalibrierung, Schichtfusion, Konvertierung ONNX → Ziel-Laufzeitumgebung einschließlich Hailo-RT, Evaluierung, Modellregistrierung mit vollständiger Herkunftsspur, schrittweiser Rollout (Canary) und aktives Lernen mit Rückmeldungen der Bediener.
Zum Modellregister gehören auch compile_target und quantization_config — das heißt, dass ein Modell in mehreren kompilierten Ausprägungen für unterschiedliche Zielhardware existiert, ist in unserer Architektur von Anfang an vorgesehen, nicht nachträglich angeklebt.
4.4 Die Schicht von Einsatz, Sicherheit und Konformität
Die letzte Schicht fehlt in Schulungen am häufigsten und entscheidet in der Praxis darüber, ob ein System überhaupt eingesetzt werden darf:
- Cybersicherheit und NIS2 — Architektur mit strukturiertem Auditprotokoll, Protokollintegrität, Zugriffssteuerung, Mehrfaktor-Authentifizierung, Verschlüsselung ruhender Daten, Sicherungen mit geprüfter Wiederherstellung, Patch-Management. Wir betreiben einen eigenen Sicherheitsstack und führen Sicherheitsaudits für Kommunen und Unternehmen durch.
- Fernverwaltung eingesetzter Geräte — dauerhafter verschlüsselter Administrationskanal, signierte Aktualisierungen, Neustart und Wiederherstellung ohne Vor-Ort-Einsatz. Ein Gerät, das sich nicht aus der Ferne aktualisieren lässt, ist aus Sicht des Lebenszyklus ein Entwurfsfehler.
- Rechtsrahmen — DSGVO, KI-Verordnung, Cyberresilienzgesetz (CRA), Produkthaftungsrichtlinie. Wir führen Kurse zur Vorbereitung auf Cybersicherheits- und DSGVO-Audits durch und stellen Zertifikate mit überprüfbarer Kennung aus.
- Methodik und Normen — bei industriellen Anwendungen arbeiten wir mit Branchennormen (etwa Messung der UV-A-Bestrahlungsstärke nach EN ISO 3059 bei der Eindringprüfung), denn ohne Messtechnik wird die Drift des Systems nicht erkannt, sondern nur vertieft.
5. Wo das bereits läuft
Die Bewerbung stützt sich nicht auf Absichten, sondern auf Installationen:
- IOAS Security Cluster / IntelliTwin — eine verteilte Plattform zur Analyse von Bildern aus bestehenden städtischen Kamerasystemen, die vorhandene Infrastruktur einbindet statt sie auszutauschen. Hardwarebeschleunigte Inferenz, mehr als 462 Modelle, Aggregation und Korrelation über die Clusterknoten hinweg.
- Industrielle Qualitätskontrolle — Entwurf eines Systems zur automatisierten Bewertung der fluoreszierenden Eindringprüfung an der Fertigungslinie: monochromer Sensor mit Global Shutter, Filterung der anregenden UV-A-Strahlung, Kachelung des Bildes zur Detektion von Anzeigen unter 0,5 mm, Inferenz auf dem Hailo-Beschleuniger und Aufteilung des Anomaliemodells zwischen Chip und Host. Teil des Entwurfs ist die Anforderung, dass die Fertigungsfotodokumentation das Werksgelände des Kunden nicht verlässt.
- Zerstörungsfreie Prüfung — Vortrag Next-Gen Methods in NDT auf der ATG-Konferenz (2025), verteilte faseroptische Sensoren, vorausschauende Instandhaltung.
- Lokale Sprachmodelle — Betrieb von Sprachmodellen auf eigener Infrastruktur zur Verarbeitung von Dokumenten und Daten der Kunden, ohne Versand an Drittanbieter. Diese Erfahrung ist unmittelbar auf den Hailo-10H übertragbar, also auf generative KI im Edge Computing.
6. Entwurf des Ausbildungszentrums
6.1 Warum Edge-KI und warum jetzt
Drei Gründe, warum wir Edge Computing für das richtige Thema eines Ausbildungszentrums gerade in dieser Region halten:
- Datensouveränität. Ein im Edge Computing laufendes Modell hat keinen Grund, Rohdaten irgendwohin zu senden. Bei Aufnahmen aus Kameras im öffentlichen Raum, bei der Fertigungsfotodokumentation eines Abnehmers oder bei Gesundheitsdaten ist das keine zusätzliche Eigenschaft — es ist die Bedingung, unter der das Projekt überhaupt umgesetzt werden darf.
- Energie und Wirtschaftlichkeit. Einstellige Wattzahlen statt Hunderte. Bei Dutzenden Geräten im Feld ist das der Unterschied zwischen einer betreibbaren und einer nicht betreibbaren Lösung — und der Unterschied, ob das Gerät aktive Kühlung braucht, was die häufigste Ausfallursache in staubiger Umgebung ist.
- Die fehlende Qualifikation. Ein Modell trainieren können heute viele. Aus einem Modell ein System zu bauen, das fünf Jahre ohne Eingriff läuft, können wenige — und genau dieses Profil fragt der Markt nach.
6.2 Curriculum — sieben Module
Wir schlagen sieben aufeinander aufbauende Module vor, jedes mit einem Laborteil an realer Hardware und realen Daten. Der Anteil praktischer Arbeit liegt nicht unter 60 %.
| Modul | Inhalt | erworbene Kompetenz |
|---|---|---|
| M1 — Architektur der Inferenz im Edge Computing | von Neumann gegen Dataflow, Energiekosten der Datenbewegung, TOPS gegen realen Durchsatz, Latenz gegen Durchsatz, Dimensionierung der Aufgabe | der Teilnehmer kann sagen, ob eine Aufgabe auf ein Gerät passt — vor dem Kauf, nicht danach |
| M2 — Vom Modell zur Binärdatei | PyTorch → ONNX → Dataflow Compiler → HEF; Kalibriersatz, Quantisierung, Lesen der Compilerausgaben, Umgang mit nicht unterstützten Operationen, Aufteilung des Modells zwischen Chip und Host | der Teilnehmer kompiliert und installiert selbstständig ein eigenes Modell |
| M3 — Messung und Validierung | Methodik FP32 gegen kompiliertes Modell, Evaluierungssätze, mAP/F1, Latenz P50/P95/P99, Drifterkennung, wann eine Verschlechterung unzulässig ist | der Teilnehmer kann nachweisen, dass das System das Abnahmekriterium erfüllt |
| M4 — Das System um den Chip | Sensorik und Optik, Beleuchtung und Messtechnik, industrielle Schnittstellen und Busse, thermischer Entwurf, Schutzart, Netzsegmentierung, Stromversorgung und USV | der Teilnehmer entwirft einen Aufbau, der den Betrieb übersteht, nicht eine Demo |
| M5 — Betrieb, Sicherheit, Konformität | MLOps und Modellregister, schrittweiser Rollout, Fernverwaltung und signierte Aktualisierungen, Auditprotokoll, NIS2, DSGVO, KI-Verordnung | der Teilnehmer nimmt ein System in einer regulierten Umgebung in Betrieb |
| M6 — Generative KI im Edge Computing | Hailo-10H: Sprachmodelle (LLM), visuell-sprachliche Modelle (VLM) und Spracherkennung lokal, ohne Cloud; INT4-Quantisierung und ihre Wirkung auf die Ausgabequalität, Sprach- und Textschnittstelle zu einem Industriesystem, automatische Beschreibung eines Befunds | der Teilnehmer setzt ein lokales Sprachmodell auf dem Gerät ein und misst dessen Qualität |
| M7 — Automatisierte ZfP | Prüfverfahren und ihre Digitalisierung (Eindring- und Magnetpulverprüfung, Ultraschall, Radiografie, Sichtprüfung), Beleuchtung und Messtechnik nach EN ISO 3059, Kachelung des Bildes und Detektion von Anzeigen unter 0,5 mm, Anomaliedetektionsmodelle, KI als zweite Meinung für den Prüfer, das Band „erfordert Aufmerksamkeit”, Nachweisführung und Abnahmekriterien, Bezug zur Personalqualifizierung (EN ISO 9712) | der Teilnehmer entwirft, validiert und dokumentiert die KI-Unterstützung eines Prüfplatzes so, dass sie vor Auditor und Abnehmer besteht |
Das Modul M7 bereiten wir in intensiver Zusammenarbeit mit der Firma ATG vor, mit der wir seit Langem an der automatisierten zerstörungsfreien Prüfung arbeiten — vom Vortrag Next-Gen Methods in NDT auf ihrer Konferenz (2025) bis zum Entwurf eines Systems zur automatisierten Bewertung der fluoreszierenden Eindringprüfung direkt an der Fertigungslinie. Gerade diese Zusammenarbeit gibt dem Modul das, was sich im Schulungsraum nicht erfinden lässt: reale Prüfaufgaben, reale Aufnahmen von Anzeigen und reale Abnahmekriterien des Abnehmers.
6.3 Das Labor
Die Ausstattung entwerfen wir so, dass der Teilnehmer an dem arbeitet, was der Kunde anschließend kauft: x86-Arbeitsstationen mit dem Dataflow Compiler, M.2- und mPCIe-Module für eingebettete Aufbauten, eine Serverkarte für Mehrstromaufgaben, ein Modul für generative KI, Kamerastände mit geregelter Beleuchtung und Machine-Vision-Optik, ein Industrienetz mit Speisung über Ethernet, eine Klimakammer zur Überprüfung des Temperaturbereichs, ein Trainingsserver mit GPU (denn der Beschleuniger trainiert nicht) und ein vollständig getrenntes Laborsegment des Netzes.
6.4 Zertifizierung und Anbindung an die Hochschulen
Wir knüpfen an ein bestehendes System an: IOAS-Zertifikat mit überprüfbarer Kennung im Online-Register, Rabatte für Firmengruppen, Möglichkeit geschlossener maßgeschneiderter Kurse. Dem akademischen Bereich bieten wir Vorlesungen und Fachseminare, Mentoring für Studierende bei Forschungs- und Projektthemen sowie gemeinsame Semester- und Diplomarbeiten an — der Direktor des Instituts war elf Jahre Hochschullehrer an slowakischen und tschechischen technischen Universitäten und betreut weiterhin Studierende.
6.5 Worauf wir aufbauen
Ausbildung ist für uns keine neue Tätigkeit. Wir führen einen Katalog von sieben strukturierten Fachkursen (Cybersicherheit, DSGVO-Audit, Vorbereitung auf das Cybersicherheitsaudit, generatives Design in der Elektrotechnik, moderne Methoden der Verarbeitung komplexer Signale, Einführung von KI im Unternehmen, Botnetze), wir halten Vorträge auf Konferenzen, beraten Kommunen und veröffentlichen offene Fachtexte. Ein Zentrum für Edge-KI ist die Erweiterung einer funktionierenden Struktur, kein Bau auf der grünen Wiese.
7. Interesse an der Beteiligung an der Entwicklung
Dies ist die zweite Hälfte unseres Vorhabens, und wir halten sie für ebenso wesentlich wie die Ausbildung. Die folgenden Bereiche bieten wir als konkreten Beitrag an — in allen haben wir entweder fertige Ergebnisse oder unmittelbar übertragbare Praxis.
7.1 Referenz-Hardwaredesigns für industrielle Umgebungen
Ein Modul ist nur ein Bauteil; zwischen ihm und dem Einsatz stehen Trägerplatine, Kühlung, Stromversorgung, Schutzart und Verkabelung. Wir bieten Entwurf und Verifikation von Referenzaufbauten für Umgebungen an, in denen übliche Lösungen versagen — Schaltschrank an der Fertigungslinie (Aerosole, Vibration, Temperaturwechsel), Mast im Feld (netzunabhängige Versorgung, Kondensation, Blitzschutz), mobiler Einsatz. Eigene Kompetenzen sind hier Mixed-Signal- und Leiterplattenentwurf mit EMV-Vorprüfung, thermischer Entwurf einschließlich generativ optimierter passiver Kühlkörper und eingebettete Firmware.
7.2 Portierung von Modellen und Beiträge zum Ökosystem
Der Model Zoo deckt gängige Aufgaben der Bildverarbeitung ab. Industrielle Branchen fehlen darin — Detektion von Anzeigen in der Rissprüfung, Bewertung von Oberflächenfehlern, Lesen technischer Dokumentation und von Lieferscheinen unter Betriebsbedingungen, Analytik der Abfallwirtschaft, agrartechnische und umweltbezogene Aufgaben. Wir bieten die Portierung, Optimierung und Veröffentlichung solcher Modelle samt zugehöriger Verarbeitungsketten (GStreamer / TAPPAS) einschließlich Dokumentation und Evaluierungssätzen an.
7.3 Unabhängige Methodik zur Validierung der Quantisierung
Das fehlende Glied der ganzen Branche ist eine überprüfbare Antwort auf die Frage, um wie viel sich das Modell nach der Quantisierung verschlechtert hat und ob das zulässig ist. Wir haben Praxis mit Evaluierungsketten, Annotationsdatenbanken und der Zuordnung von Fehlern bis auf die Ebene einzelner Regeln aus dem Betrieb eigener Systeme. Wir bieten an, eine Methodik zu erarbeiten und zu veröffentlichen: Zusammensetzung des Evaluierungssatzes, statistische Signifikanz des Unterschieds, Akzeptanzschwellen nach Risikoklasse, Abnahmeprotokoll als Vertragsanlage verwendbar — also genau das, was heute in der öffentlichen Beschaffung wie auch bei Audits nach der KI-Verordnung fehlt.
7.4 Sensorfusion und nicht alltägliche Modalitäten
Der Großteil des Ökosystems befasst sich mit der Kamera. Unsere Forschungsgeschichte liegt anderswo: magnetische und magnetostriktive Sensoren, Dehnungsmessung, Ultraschall, verteilte faseroptische Sensoren. Uns interessiert die Inferenz über diese Modalitäten im Edge Computing — Auswertung einer DFOS-Strecke, Verarbeitung von Ultraschall-A/B/C-Scans, Klassifikation von Schwingungssignaturen für die vorausschauende Instandhaltung. Es ist eine Schnittmenge, in der Sensorik auf beschleunigte Inferenz trifft und in der wir einen eigenen fachlichen Beitrag leisten können, keinen übernommenen.
7.5 Generative KI im Edge Computing
Mit dem Hailo-10H hört ein lokales Sprach- oder visuell-sprachliches Modell auf, eine theoretische Möglichkeit zu sein. Wir betreiben lokale Sprachmodelle für Kundendaten und interessieren uns für deren Verlagerung ins Edge Computing: Sprach- und Textschnittstelle zu einem Industriesystem ohne Cloud, automatische Beschreibung eines Befunds, Assistent für den Bediener, Dokumentenverarbeitung in Umgebungen, in denen die Daten das Gelände nicht verlassen dürfen. Dazu gehört auch die Quantifizierung dessen, was aggressive Quantisierung (INT4) mit der Qualität der Ausgabe eines Sprachmodells anstellt — dieselbe Frage wie in Punkt 7.3, nur bei einer anderen Modellklasse.
7.6 Sicherheits- und Auditschicht
Der europäische Markt kauft heute nicht Leistung, sondern Nachweisbarkeit. Wir bieten die Entwicklung jener Schicht an, die aus einem Inferenzknoten ein auditierbares Gerät macht: strukturiertes Sicherheitsprotokoll in einheitlichem Schema (Zeit, Akteur, Aktion, Ressource, Ergebnis, Schweregrad), übertragbar in ein SIEM, Protokollintegrität, sicheres Starten und signierte Aktualisierungen unter Nutzung der Hardwaremittel der Plattform, Fernverwaltung der Geräte und ein belegter Lebenszyklus nach CRA. Wir haben dafür einen eigenen Sicherheitsstack und Auditpraxis.
8. Wirtschaftlichkeit: was tatsächlich zählt
Bei der Entscheidung zwischen einem Beschleuniger im Edge Computing und einer Serverlösung werden meist die falschen Größen verglichen. Dies sind die entscheidenden:
| Größe | warum sie entscheidet |
|---|---|
| Watt je Stream | bestimmt, ob der Aufbau aktive Kühlung braucht — und damit, ob er ein bewegliches Teil enthält, das in staubiger Umgebung zusetzt |
| Latenz P99, nicht der Mittelwert | ein Prozess wird nach dem schlechtesten, nicht nach dem durchschnittlichen Fall belegt |
| Jährliche Kosten der Datenübertragung | Video in die Cloud zu streamen ist ein wiederkehrender Aufwand; Inferenz vor Ort beseitigt ihn |
| Rechtliche Zulässigkeit | bei manchen Daten ist die Übermittlung außer Haus zu keinem Preis zulässig — dann ist ein Preisvergleich gegenstandslos |
| Kosten des Nachtrainings | einmalige Investition in Trainingshardware gegen wiederkehrende Gebühr für fremde Rechenleistung plus Risiko des Datenabflusses |
| Lebensdauer und Bauteilverfügbarkeit | industrieller Temperaturbereich und langfristige Verfügbarkeit sind Voraussetzung für ein Gerät mit zehnjährigem Lebenszyklus |
9. Nächste Schritte
Die Gespräche mit Hailo werden fortgesetzt. Parallel sprechen wir Partner an, deren Beteiligung wir für die Voraussetzung eines sinnvollen Zentrums halten:
- technische Universitäten — gemeinsames Labor, Semesterkurse, Semester- und Diplomarbeitsthemen, Mentoring für Studierende;
- Industrieunternehmen — Pilotaufgaben aus der realen Fertigung als Laboraufgaben statt künstlicher Beispiele;
- Kommunen und öffentlicher Sektor — sicherer und datensouveräner Einsatz in der städtischen Infrastruktur;
- Integratoren und Lieferanten — Schulung ihrer eigenen Teams und gemeinsame Referenzdesigns.
Wenn Sie einer dieser Bereiche interessiert — sei es als Partner des Ausbildungszentrums oder als Teilnehmer gemeinsamer Entwicklung — melden Sie sich.
director@ioas.pro · +421 903 667 654 · Kontaktformular
Literatur und Quellen
- Hailo. Hailo-8 AI Accelerator — Produktseite und Spezifikationen. hailo.ai, 2026.
- Hailo. Hailo-10H AI Accelerator — generative KI im Edge Computing. hailo.ai, 2026.
- Hailo. Hailo-15 AI Vision Processors. hailo.ai, 2026.
- Hailo. Hailo AI Software Suite — Dataflow Compiler, HailoRT, Model Zoo, TAPPAS. hailo.ai, 2026.
- Hailo. Hailo Model Zoo — GETTING_STARTED. GitHub, hailo-ai/hailo_model_zoo.
- Anwarzai, B.; Áč, V.; Lúby, Š.; Majková, E.; Senderák, R. Pseudo spin-valve on plastic substrate as sensing elements of mechanical strain. Vacuum, Bd. 84, Nr. 1, 2009, S. 108 – 110.
- Lúby, Š.; Majková, E.; Debnárová, A.; Senderák, R.; Áč, V.; Anwarzai, B. Effect of magnetic flux distribution on GMR in Ag/Co multilayers. Thin Solid Films, Bd. 433, 2003, S. 243 – 246.
- Anwarzai, B. u. a. Magnetostriktiver Sensor — WIPO PCT WO2009088378; slowakisches Patent SK 50001/2008.
- IOAS. IOAS Security Cluster (IOASC) — Architektur, Pipeline der Modellerstellung, paralleles und verteiltes Rechnen. ioas.pro, 2025.
- Europäisches Parlament und Rat. Verordnung (EU) 2024/1689 (KI-Verordnung). Amtsblatt der EU, 2024.
- Europäisches Parlament und Rat. Richtlinie (EU) 2022/2555 (NIS2). Amtsblatt der EU, 2022.
- Europäisches Parlament und Rat. Verordnung (EU) 2024/2847 (Cyberresilienzgesetz). Amtsblatt der EU, 2024.
- ISO. EN ISO 3059 — Zerstörungsfreie Prüfung: Eindringprüfung und Magnetpulverprüfung, Betrachtungsbedingungen.
Illustrationsfoto: Jakub Pabis / Pexels.
Die technischen Parameter der Hailo-Produkte stammen aus der öffentlich zugänglichen Dokumentation des Herstellers (Stand August 2026) und dienen der fachlichen Darstellung; verbindliche Angaben macht der Hersteller. Die Erfahrungen mit Kompilierung, Quantisierung und Aufteilung des Modells zwischen Beschleuniger und Host stammen aus eigenen Projekten des IOAS.
© 2026 Branislav Anwarzai · Institut für fortgeschrittene Studien. Der Text darf mit Quellenangabe zitiert werden.