Podiumsdiskussion

Wie die heutigen FPGAs das Problem der Datenflut in den Griff bekommen

Von Gen5 bis KI, NOCs bis RF an der Grenze

Sehen Sie sich die Aufzeichnung unten kostenlos an!

Technologiegetriebene Fortschritte wie 5G und autonome Fahrzeuge erzeugen eine Datenflut, die die Lösungen der aktuellen Generation für die Übertragung, Speicherung und Verarbeitung dieser Informationen überfordert. Glücklicherweise gibt es eine Reihe von neuen Fortschritten in denselben herausfordernden Bereichen, darunter PCIe Gen5 für die Datenübertragung, KI für die automatisierte Analyseverarbeitung und eine leistungsfähigere Verarbeitung am Netzwerkrand.

Drei Experten in diesen Bereichen werden diese neuen Lösungen anhand konkreter Beispiele für Hardware und Software/IP mit Schwerpunkt auf FPGA-basierten Lösungen diskutieren. Die Präsentation findet in Form einer Podiumsdiskussion statt, bei der die Teilnehmer die Möglichkeit haben, per Chat Fragen zu stellen. Registrieren Sie sich noch heute und seien Sie live dabei!

FPGA-Beschleunigerkarten

520N-MX
IA-420f card
IA-420f
IA-860m

Partner IP

Redner

Jeff Milrod photo
Jeff Milrod | Verantwortlicher für Technik und Strategie, BittWare
Shep Siegel photo
Shepard Siegel | CTO, Atomic Rules
Stephen Bates headshot
Steven Bates | Technischer Leiter, Eideticom
 

Bryan

Vielen Dank, dass Sie heute bei uns sind. Ich bin Bryan DeLuca, zusammen mit Nicolette Emmino, und wir sind heute Ihre Gastgeber für diesen Live-Chat zum Thema "Wie die heutigen FPGAs das Problem der Datenflut in den Griff bekommen", gesponsert von Mouser Electronics, BittWare und Molex.

Wir haben einige großartige Diskussionsteilnehmer, und dies ist ein Live-Chat, also stellen Sie Ihre Fragen in den Fragen und Antworten am unteren Rand Ihres Bildschirms. Und nun zu Nicolette.

Nicolette

Hallo, Leute. Nochmals vielen Dank, dass Sie zu uns gekommen sind. Wir sind hier mit unseren drei Diskussionsteilnehmern, Jeff Milrod, Chief Technical and Strategy Officer bei BittWare. Steven Bates, technischer Leiter bei Eideticom. Shep Siegel, technischer Leiter bei Atomic Rules.

Die drei Experten werden diese neuen Lösungen anhand konkreter Beispiele für Hardware- und Software-IP mit Schwerpunkt auf FPGA-Lösungen erörtern.

Also, lasst uns eintauchen und mit ein wenig Hintergrundwissen beginnen. Was denkt ihr, Leute?

Warum erzählst du uns nicht - du weißt schon, Shep, Jeff, Stephen - warum erzählst du uns nicht, dass diese drei Organisationen... ihr euch in einem neuen Programm zusammengetan habt? Warum sprechen wir nicht ein wenig darüber, wie das dem Markt dient und was ihr macht?

Jeff

Okay, ich fange damit an, weil BittWare seit Jahrzehnten Hardware-Plattformen mit FPGAs herstellt. Und das, was wir gemacht haben, ist eine Plattform für diese Anwendungen. Und wir sind Experten für die Plattform, aber nicht so sehr für die Anwendungen und Arbeitslasten. In der Vergangenheit haben wir das, was wir "Bare Metal" nennen, an unsere Kunden verkauft, die Experten in der Codierung und Entwicklung von Anwendungen auf den FPGAs sind.

Und wir stellen fest, dass die Kunden immer weniger bereit sind, die ganze schwere Arbeit der FPGA-Programmierung zu übernehmen. Und wir haben uns mit IP- und Lösungsanbietern wie Shep und Stephen zusammengetan, um auf unserer stabilen und bewährten Hardware-Plattform einen Mehrwert zu bieten.

Shep

Ja, Jeff, das ist gut, ich werde hier einfach einspringen. Wir bei Atomic Rules sind ein Anbieter von Dienstleistungen und IP für die FPGA-Gemeinschaft, der keine Ätztechnik, sondern Hardware anbietet. Wir könnten keinen besseren Partner als BittWare haben, um Plattformen mit hochmodernen FPGAs von allen wichtigen Anbietern bereitzustellen, damit unsere IP im besten Licht erscheinen kann.

Der Wunsch von Jeff und BittWare/Molex, IPs zu haben, trifft direkt auf unser Bedürfnis, eine Plattform zu haben, um den Wert zu liefern, den wir unseren Kunden bieten möchten. Stephen?

Stephen

Ja, natürlich werde ich mitmachen. Eine großartige Person hat einmal gesagt, dass man für einen Computer... ein Computersystem zwei Dinge braucht, um wirklich zu glänzen: Man braucht gute Hardware und man braucht gute Software. Und für die Gamer da draußen, ein gutes Beispiel dafür ist, dass man sich einen tollen Spiele-PC bauen kann, aber dann braucht man Spieleentwickler, die die Software schreiben, die auf dieser Hardware läuft, richtig?

Man erhält also die beste Erfahrung für den Kunden, wenn man gute Hardware und gute Software hat. Und wie Jeff in seiner Rede angedeutet hat, sind wir, Molex/BittWare, fantastisch darin, großartige Hardware zu bauen. Sie können die besten FPGA-Karten auf dem Markt bauen, aber sie und ihre Kunden sind immer weniger in der Lage, die großartige Software zu entwickeln, die diese Hardware wirklich zum Strahlen bringt.

Und hier kommen Unternehmen wie Shep's und meines ins Spiel. Wir arbeiten also an der Entwicklung der Software, um ein besseres Wort zu finden, die auf dem FPGA läuft, aber nicht nur das. Auch die Software, die auf den Host-Systemen läuft und sie mit der Anwendung verbindet, sei es eine Speicheranwendung, die Netzwerkanwendung oder eine Rechenanwendung. Und ich denke, dass die Bereitstellung dieser Komplettlösung etwas ist, wonach die Kunden wirklich suchen: die Möglichkeit, etwas aus dem Regal von einem Unternehmen wie Jeff (BittWare/Molex) und dann von einem Unternehmen wie Shep und mir zu nehmen - und etwas zu haben, das direkt angeschlossen werden kann und einfach funktioniert und etwas wirklich, wirklich gut macht.

Bryan

Wir haben also viel über die Flexibilität von FPGAs gesprochen, nicht wahr? Wie flexibel sind FPGAs? Ich meine, werden sie wirklich einfacher zu programmieren - wenn nicht, wie nutzen wir sie dann? Jeff, können Sie ein wenig dazu sagen?

Jeff

Ja, das stimmt. Sie sind extrem flexibel, und je flexibler sie sind, desto schwieriger wird es, sie zu benutzen, denke ich. Und, wissen Sie, ich habe gerade darüber nachgedacht, dass eines meiner alten Axiome vor ein oder zwei Jahrzehnten lautete: "BittWare hat diese Bare-Metal-FPGA-Hardware an die verrückten Randgruppen verkauft." ...wer sind die Leute, die tatsächlich die Ärmel hochkrempeln und dieses flexible Ding programmieren können...und jetzt, anstatt an sie zu verkaufen, arbeiten wir mit ihnen zusammen (lacht).

Ich rufe Stephen und Shep Lunatic Fringe an (Gelächter)... und dann stellen wir gemeinsam etwas zusammen, das die Nicht-Lunatics tatsächlich konsumieren und auf vernünftige Weise nutzen können. Die Flexibilität von FPGA ist beängstigend. Die Tatsache, dass es alles tun kann, bedeutet, dass es von Haus aus nichts tut. Wenn es also eingeschaltet wird, weiß es nicht einmal, wie es den Speicher oder den angeschlossenen Host nutzen soll.

Und das ist der Punkt, an dem eine Menge Arbeit geleistet werden muss, um die Frameworks zu erstellen und Shells oder (verschiedene Leute verwenden unterschiedliche Begriffe) zu haben, in die dann die Anwendungen und Arbeitslasten geladen werden können.

Aber selbst dann sind die Anwendungen und Arbeitslasten, Sie wissen schon, ein Meer von Gattern (FPGA steht für Field Programable Gate Array)... und es gibt Millionen dieser Logikelemente, und wie man sie verbindet, um seine Hardware-Algorithmen und -Implementierungen durchzuführen, ist eine große Herausforderung. Und da immer mehr Optionen und gehärtete Kerne hinzukommen, wird es noch schwieriger, eine bestimmte Arbeitslast in diesem Bereich zu bewältigen. Und genau hier kommen unsere verrückten Partner ins Spiel (lacht).

Shep

Das muss nicht sein - da stimme ich Jeff zu - aber es muss auch nicht verrückt sein. Und es gibt all diese... es gibt viele hervorragende Tools, die in den letzten Jahren herangereift sind und die die beängstigende Aufgabe, sich kopfüber in ein Multimillionen-FPGA zu stürzen, handhabbarer machen. Denn die Tools sind zwar besser geworden, aber die Komplexität - für jemanden, dessen Problem auf der Anwendungsebene liegt, ist es fast unmöglich, ein FPGA zu treffen. Und deshalb gibt es Möglichkeiten für Unternehmen wie meines, Stephens und andere in diesem Ökosystem, um eine Plattform auf der rohen Leistung des FPGAs aufzubauen.

Alberto Santelli, einer meiner Helden im Bereich des FPGA-CAD-Designs, sprach in den frühen ASIC-Tagen, als ASICs aufkamen, über plattformbasiertes Design. Aber was er in Bezug auf ASICs gepredigt und studiert hat, trifft auch auf FPGAs zu. Häufig verwenden wir den Begriff Overlay, um eine Fähigkeit zu beschreiben - vielleicht stellt Eideticom sie her, vielleicht Atomic Rules, vielleicht stellen einige der Teilnehmer diese Overlays her - und die Overlays dienen als Plattformen, die über die Hardware und Software des Basis-FPGAs gelegt werden, um die Abstraktion näher an das heranzuführen, was der Benutzer zu erreichen versucht.

Das Geschäft von Atomic Rules besteht darin, Produkte zu liefern, die diese Plattformen bereitstellen. Vielleicht will jemand Daten bewegen, vielleicht will jemand Daten speichern, vielleicht hat jemand ein anderes Problem. Diese IP-Cores heben einfach die Interaktionsebene an, so dass die Aufgabe, FPGAs für echte Berechnungen zu nutzen, nicht sofort in Look-up-Tabellen und Timing-Verifizierung... und einfach... all diese Details, die die Entwicklung ersticken würden... sondern stattdessen werden sie durch die Fähigkeit verstärkt, dass wir darüber reden können: "Oh, Sie müssen Daten von einem Netzwerk zu einem Laufwerk zum Host bewegen? Wir wissen, wie man das macht, und es ist dieser Aufruf..." Ja, es steckt eine Menge dahinter, aber das ist der Wert, den Unternehmen wie BittWare, Eideticom und Atomic Rules bieten.

Stephen

Ja, das stimmt. Ich bin mir nicht ganz sicher, wie ich es finde, als Verrückter bezeichnet zu werden. Ein Teil von mir mag es, ein Teil von mir...

Nicolette

(Gelächter) Jeff, da hast du wirklich einen Nerv getroffen!

Stephen

Ich weiß, dass du das getan hast, nicht wahr, Jeff? Ich sage meinen Freunden, die keine Geeks sind, gerne: "Ihr wisst, was ein Geek ist. Wenn du mit einem Geek sprichst und ihm sagst, was ich mache, wird er sagen, dass ich ein Geek bin." (Gelächter) Ich bin also ein Geek zum Quadrat oder zwei Geeks oder ich weiß es nicht.

Bryan

Ich wollte gerade dasselbe sagen - es ist wie Geek zum Quadrat.

Stephen

Ich denke, Jeff und Shep haben das sehr gut angesprochen. Ich meine, die Tools sind besser geworden, was die Frage angeht: "Wie lerne ich, wie man mit FPGAs arbeitet?" Aber die Komplexität des Siliziums, das von den Anbietern geliefert wird, hat ebenfalls zugenommen - wahrscheinlich in einem dramatischeren Tempo als die Tools.

Und ich denke, dass im Laufe der Jahre viel getan wurde, um es für jemanden, der keine FPGA-Erfahrung hat, einfacher zu machen, damit er etwas tun kann. Aber es ist immer noch ein schwieriges Problem, und ich glaube nicht, dass wir das jemals wirklich gelöst haben. Wir haben versucht, C-artige Programmiersprachen für FPGAs zu schreiben - wie Shep sagte: die Abstraktionsebene zu erhöhen. Und das Problem dabei ist, dass man oft die Leistung opfert, um diese Einfachheit zu erreichen.

Ich denke also, dass Unternehmen wie Shep und ich versuchen, mehr anwendungsspezifische Overlays zu erstellen. Wir ziehen also einige... Linien um die Flexibilität herum. Wir sagen, dass man nicht mehr alles machen kann. Man kann dies und das und das machen. Aber damit einher geht eine leistungsstarke Programmierbarkeit. Und ich denke, das ist interessant.

Ich weiß, dass wir das später noch ansprechen werden, aber zwei Dinge, die uns meiner Meinung nach wirklich helfen können - wenn es darum geht, die Einführung von FPGAs noch schneller voranzutreiben, als sie ohnehin schon ist - sind Dinge wie offene Standards. Können wir also Ökosystem-basierte Standards für die Kommunikation und Programmierung von FPGAs haben? So haben wir keine Anbieterbindung mehr.

Und das andere ist Open Source. Können wir also für FPGAs dasselbe tun, was der Linux-Kernel und die Linux-Betriebssysteme für Software getan haben? Können wir eine Gemeinschaft haben, die sich den Code ansehen kann, die den Code als Gemeinschaft bearbeiten kann, die ihn besser machen kann, richtig? Und ich denke, diese beiden Dinge - wir werden später darauf eingehen - sind super wichtig.

Jeff

Ich möchte diesen Thread für einen zweiten Stephen nehmen...also, das ist 100% richtig. Und auf der Hardware-Ebene gibt es das auch. Also noch einmal: Das feldprogrammierbare Gate-Array macht an und für sich nichts. Es gibt die Logikelemente und dann gibt es die Host-Schnittstelle, die Speicherschnittstellen, die Netzwerkschnittstellen und BittWare bietet eine Menge Beispiele und Shells.

Eine der Initiativen zur Abstraktion dieser Frameworks und grundlegenden Plattformen - und Intel hat einen offenen Framework-Stack vorangetrieben - ist, dass BittWare gemäß der Spezifikation des offenen Framework-Stacks kodiert und wir die Host-Schnittstellenlogik auf PCIe, die Netzwerkschnittstelle und die Speicherschnittstellen im FPGA instanziieren und implementieren und die Hardware so aufbauen, dass der FPGA beim Einschalten Daten bewegen kann.

Und jetzt, wissen Sie, das andere Modell, das die Leute benutzt haben, ist, dass es einen Gelee-Donut gibt, und jetzt, wissen Sie, legt der Anwendungsentwickler den Gelee und Intel hat spezielle Werkzeuge dafür, die sie oneAPI nennen, (wie Stephen würden sie wahrscheinlich nicht mögen, dass ich sie Gelee-Donut-Füller nenne) ...und eine API funktioniert auf ihren CPUs, ihren GPUs und auf ihren FPGAs, wenn Sie dieses OFS auf der Hardware-Ebene darunter bauen. So können Sie jetzt in Intels Hochsprache namens oneAPI programmieren und Anwendungen auf einer FPGA-Hardwareplattform laufen lassen, die mit diesem offenen Framework-Stack ausgestattet ist (Open FPGA Stack ist, glaube ich, die Abkürzung dafür).

Nicolette

Wisst ihr, ihr habt in dieser einen Frage eine ganze Menge angesprochen. Aber was ich wirklich wissen wollte, und ich glaube, wir haben schon einige davon angesprochen (und wir haben einige Fragen aus dem Publikum), aber ich möchte das zuerst ansprechen: Abgesehen von dem, was wir bisher erwähnt haben, gibt es irgendwelche neuen Entwicklungen bei FPGAs, über die wir jetzt sprechen sollten, bevor wir eintauchen, weil es einige Fragen gibt, die damit zusammenhängen?

Shep

Ja, das möchte ich gleich vorwegnehmen, denn es gibt... es gibt sie. Ich meine, FPGAs waren lange Zeit an der Spitze der Prozesstechnologie. Aber seit drei, vier oder fünf Jahren kommen wir mit Gen3 PCIe zurecht, und in den letzten zwei Jahren scheinen wir zu Gen4, Gen5 und Gen6 übergegangen zu sein - und CXL (das mit diesen Technologien zusammenhängt) ist genau dabei.

Von AMD/Xilinx, Intel und anderen - von allen FPGA-Anbietern - sehen wir, dass die SerDes-Technologie sicherlich ausgereift genug ist, um Gen4 zu handhaben, und kurz davor steht, Gen5 zu liefern (ihre Gen5-Bausteine, die auch von den großen Anbietern geliefert werden). Aus der Sicht von Atomic Rules würde ich sagen, dass in den Gesprächen mit unseren Kunden die Explosion von Gen4 und Gen5 in den letzten ein oder zwei Jahren sehr deutlich zu sehen ist, und zwar mit CXL direkt im Rücken.

Und natürlich sollte es nicht selbstverständlich sein, dass dies ohne die zugrundeliegende SerDes-Technologie, die dies ermöglicht, nicht möglich wäre. Aber meine kurze Antwort (und ich entschuldige mich wirklich bei meinen Kollegen... ich musste das Thema anschneiden, weil es unser Geschäft so sehr verändert hat) ist, dass Gen4 und Gen5 heute hier sind.

Stephen

Ja, und ich schätze, der Titel des heutigen Webinars lautet "Zähmung der Datenflut". Höhere Geschwindigkeiten und Feeds sind ein notwendiger...wie ein kritischer Teil davon. Wenn man nicht in der Lage ist, riesige Datenmengen in und aus dem FPGA zu transportieren, sei es über PCIe, CXL oder Ethernet, dann ist es egal, was das FPGA macht, es kann einfach nicht mithalten, richtig? Geschwindigkeiten und Zuführungen sind also ein notwendiger Baustein.

Aber ich werde einen etwas anderen Blickwinkel einnehmen. Ich denke, eines der Dinge, die mich an FPGAs und am SoC-Markt im Allgemeinen wirklich begeistern, sind zwei Dinge. Zum einen ist es jetzt möglich, sehr leistungsfähige Anwendungsprozessoren von Unternehmen wie ARM einzusetzen, und einige der FPGAs können das. Also, wissen Sie, man kann Linux auf einem FPGA booten, richtig? ...und es im Wesentlichen in einen kleinen Server verwandeln, fast wie einen kleinen Raspberry Pi. Aber jetzt ist man auch flexibel, denn der FPGA hat nicht nur die gehärteten ARM-Prozessorkerne, sondern auch diese flexible Logik. Damit lassen sich einige ziemlich erstaunliche Dinge anstellen. Stellen Sie sich einen Raspberry Pi vor, bei dem Sie die Hardware ändern können, mit der Linux kommuniziert... Sie können Treiber schreiben... das macht eine Menge Spaß und Sie können einige ziemlich erstaunliche Dinge tun. Das war also ein Aspekt - die Möglichkeit, Linux auf den FPGA zu bringen und Softwareentwicklern zu erlauben, mit der Hardware zu kommunizieren... die die Hardwareteams zusammenstellen.

Die andere Sache, die mich wirklich begeistert, ist die Chiplet-Technologie. Sie wissen ja, dass die FPGA-Teams von Intel bereits auf Chiplet-Basis arbeiten. AMD ist klassischerweise für Chiplets in seinen Serverprozessoren bekannt, wir können also davon ausgehen, dass wir das sehen werden. Die Möglichkeit, verschiedene Komponenten innerhalb des Gehäuses zu mischen und anzupassen, um eine breitere Palette von SKUs zu ermöglichen, halte ich für sehr interessant. Wenn ich also eine Anwendung habe, bei der ich kein Ethernet benötige - vielleicht befindet sich das Ethernet auf einem Chiplet -, dann brauche ich dieses Chiplet nicht und es ist nur eine Verpackungsoption. Wenn ich ARM-Prozessoren benötige, können sie auf dem Chiplet sein, und diese Chiplets können auf verschiedenen Prozessknoten existieren, was die Kosten reduziert.

Wir können sogar über Chiplets für Dinge wie Speicherverbindungen mit hoher Bandbreite nachdenken. Es ist also fast so, als ob... Ich kann mir fast vorstellen, dass ich in nicht allzu ferner Zukunft auf eine Website gehen und anklicken kann: "Ich möchte diese Chiplets verpackt und in mein Büro geliefert bekommen", und ich kann auswählen, was ich möchte, und Shep kann auswählen, was er möchte, und Jeff kann sie verpacken - Sie wissen, dass sie alle Footprint-kompatibel sein werden -, so dass Jeff alles auf die Karte packen kann, was er möchte, und wir erhalten im Grunde genommen eine viel größere Variabilität, ohne dass sich die Kosten erhöhen, und ich denke, das ist sehr spannend.

Jeff

Ja, und Intel nennt die Chiplets natürlich "Kacheln", die ihr EMIB-Interconnect verwenden, und sie haben viel damit gearbeitet. Und wie Sie schon sagten, sind die Ethernets und die Geschwindigkeiten dramatisch gestiegen, wie Shep mit PCIe herauskam, wissen Sie, in Verbindung damit erhöhen sie die Geschwindigkeiten der Ethernet-Netzwerkeinspeisungen, wissen Sie, bis zu 100 Gig und NRZ... 100 Gig, entschuldigen Sie, PAM4-Geschwindigkeit, also maximal 400 Gig, die gebunden werden können. Und das ist jetzt nicht einmal mehr ein großes Problem.

Das Gleiche gilt für die Speicherseite: externe Speicherschnittstellen, die DDR5s und dann, wie Steven erwähnte, die internen Speicherkacheln mit hoher Bandbreite. Man kann also - bei einigen der neuen FPGAs, die auf den Markt kommen - 32 Gigabyte In-Package-Speicher hinzufügen, der über einen sehr schnellen lokalen Bus mit dem FPGA verbunden ist.

Die andere Herausforderung, die sich stellt (eine bemerkenswerte neue Entwicklung), ist, dass - wenn diese Geschwindigkeiten und Feeds, wie wir sie nennen, auf dem externen Chip weiter zunehmen - es zu ernsthaften Beschränkungen bei der Bewegung all dieser Daten kommt... und die Leute parallelisieren ihre Busse und die Taktraten steigen, aber der andere nichtlineare Schritt, den jeder in der Anbietergemeinschaft auf Halbleiterebene zu machen scheint, ist das Hinzufügen von Networks-on-Chip, um Daten mit viel höheren Bandbreiten zu bewegen.

Das hat zwei Vorteile: Sie können sich zwischen den Peripheriegeräten bewegen und sie auch innerhalb Ihres Logikelements bewegen. Und da diese Logik-Arrays immer größer werden (mit Millionen und bald Dutzenden von Millionen von Logikelementen), ist es schwierig, die Daten zur Verarbeitung dorthin zu transportieren - aber jetzt muss man dieselbe Bandbreite vom ersten Paketprozessor zum Postprozessor transportieren - und das ist ein weiterer Ort, an dem die NOCs zum Einsatz kommen können (Network-on-Chips: man nennt sie NOCs...N-O-C).

Shep

Wenn wir schon auf NOCs zu sprechen kommen, möchte ich nur kurz einsteigen - vielleicht kommen wir später noch einmal darauf zurück... denn NOCs sind ein großes Thema - nicht zuletzt wegen des Marketings, das die verschiedenen FPGA-Hersteller in Bezug auf gehärtete NOCs betreiben. Ich möchte nicht unerwähnt lassen, dass wir hier bei Atomic Rules und sicherlich auch an anderen Stellen von der Forschung der letzten 20 Jahre über das Hoplite-Netzwerk, das Jan Gray und Nachiket Kapre entwickelt haben, inspiriert wurden. Sie können es googeln und Hoplite und die ganze Arbeit rund um das Netzwerk nachschlagen. Es ist eine großartige Plattform, um NOCs, ihre Vorteile (und ihre Kosten) auf eine weiche Art und Weise zu untersuchen, und wir haben uns von dieser Arbeit für unsere eigenen weichen NOCs inspirieren lassen, die wir für die Datenverteilung an Orten nutzen, an denen es nicht den Vorteil eines gehärteten NOCs gibt, das unseren Anforderungen entspricht.

Und genau wie die Plattformen, über die ich vorhin gesprochen habe, können NOCs - Hard- und Software - als Schichten dieser Plattform dienen, um Ihre Abstraktion aufzubauen. Jeff sagte: "Wie bekomme ich die Daten von meiner Ethernet-Seite zu meiner PCI-Seite, zu meinem Speicher, zu meiner Storage-Seite?" Ganz genau. Und ich betrachte das als eine weitere Art von Abstraktion, die als Vorteil eingepackt und gebündelt werden kann, um die Komplexität zu reduzieren und im Wesentlichen einige Dinge zu verbergen, die man einfach nicht wissen will, um an die wirklich wertvollen Details auf Anwendungsebene zu gelangen.

Nicolette

Wir hatten eine Frage aus dem Publikum zu NOCs und speziell zu einem gehärteten NOC. Ich möchte diese Frage nur kurz ansprechen. Sie haben sie vielleicht schon angesprochen, aber vielleicht können wir sie hier ergänzen. Ein Zuhörer fragte: "Wie können gehärtete NOCs zwischen verschiedenen gehärteten Peripheriegeräten und internen Logikgattern die Schnelligkeit der internen Datenpfade beeinflussen, die FPGAs in den letzten zwei Jahrzehnten fehlten?

Jeff

Ja, und das ist eine detaillierte Hardware-Frage, die ein Problem darstellt. Wissen Sie, wir haben immer... ich habe den Begriff informell verwendet, dass all dieses verrückte Zeug - das Herumschieben all dieser Daten - eine Art von Klempnerarbeit ist. Wenn Sie wollen, dass Ihr Wasser ins Haus fließt, ist das eine Sache. Wenn Sie es an der Küchenspüle und im Bad haben wollen, müssen Sie es verlegen. Und diese Analogie funktioniert wirklich für FPGAs. Und wenn man dann ein bisschen Wasser aus der Küche haben will, ist das eine Sache. Aber wenn Sie einen Feuerwehrschlauch in Ihrer Küche brauchen, brauchen Sie eine andere Art von Rohrleitungsstruktur, richtig?

Und hier kommen die Hardware-NOCs ins Spiel, mit denen alle Anbieter jetzt ringen. Und sie haben sie in verschiedenen Abstufungen zwischen den Peripheriegeräten, wie Shep sagte, nur, wissen Sie, von Ethernet zu PCIe und dann verschiedene Möglichkeiten, wie sie es in die Fabric bekommen können. Und wie ich schon sagte, wenn man ein 400-Gigabyte-Ethernet hat, das in einen gehärteten MAC FEC einfließt... nun, die Ausgabe davon, man muss ein paar Paketverarbeitungen in der Logik machen... okay, das ist angeschlossen. Wie kann man nun die Ausgabe dieser Logik irgendwo hinbringen?

Man braucht jetzt also ein NOC, das auf die Fabric zugreifen kann, und die haben diese Netzwerkzugangsports. Einige Anbieter setzen diese bereits aggressiv ein, andere planen sie für die nächste Generation. Alle bewegen sich in diese Richtung. Und wie bei jeder dieser Technologien, auch wenn sie auf den Marketingfolien wie Feenstaub aussehen, steckt der Teufel immer im Detail. Und sie lösen nicht alle Probleme, und sie haben einige andere Probleme, eines davon ist, dass man anfängt, Dinge mit Gigahertz-Raten bei massiven Bandbreiten und Busbreiten zu schalten... die Dinge werden heiß.

NOCs neigen dazu, die Wärmeableitung zu erhöhen, denn je mehr Bits man hineinsteckt, desto heißer wird es. Und je weiter sie gehen, desto mehr kapazitive Last haben sie. Aber sie sind ein großartiges Werkzeug, das jetzt von der Community genutzt wird und später auf jeder Hardware zu finden sein wird, denke ich.

Stephen

Und, was noch hinzukommt, ich liebe den Ausdruck "aus dem Feuerwehrschlauch trinken". Wir denken also über diese unglaublichen Datenfluten und -übertragungen nach. Wenn Sie sich jedes einzelne Paket oder jedes einzelne Bit ansehen wollen, das über die Leitung vom Host eintrifft, sollten Sie besser in der Lage sein, das zu konsumieren, oder? Andernfalls trinkt man buchstäblich aus einem Feuerwehrschlauch, und das wird nicht gut ausgehen.

Wir müssen also sicherstellen, dass wir diese Daten innerhalb der Geräte verschieben können. Ich denke, dass Jeffs Punkt über die thermische Erwärmung - wie Dinge, die sich aufheizen - ein wirklich guter Punkt ist. Eine der großartigen Dinge, die ich an der Partnerschaft mit Jeffs Unternehmen schätze, ist, dass sein Unternehmen sehr gut über Dinge wie Wärmeentwicklung nachdenkt.

Und die Tatsache, dass Jeff es angesprochen hat, hat mich daran erinnert, wie wichtig es ist. Wissen Sie, in meiner Vergangenheit habe ich ein FPGA programmiert und es wurde nicht kühl - es gab keinen Lüfter, der darüber blies... und ich habe das verdammte Ding in die Luft gejagt! Das gebe ich zu... vielleicht sollte ich das nicht (Gelächter)! Aber wenn diese Dinger so heiß werden, wenn sie hart arbeiten, und es saß einfach nur da und tat nichts, dann war es glücklich. Dann habe ich ihn... viel arbeiten lassen und plötzlich wurde er sehr, sehr schnell sehr, sehr heiß. Und Jeff, wissen Sie, Jeffs Firma denkt darüber nach.

Jeff

Haben Sie aber eine so heiß bekommen, dass sie die Lötstellen wieder auflöst und tatsächlich von der Platine fällt?

Stephen

Das habe ich noch nicht getan.

Jeff

Das ist der Moment, in dem man weiß, dass man etwas erreicht hat!

Bryan

Das ist ziemlich heiß, Leute, das ist ziemlich heiß.

Stephen

Es ist also großartig, dass sich BittWare und Molex um die Sache kümmern. Sie bringen die Erfahrung mit: "Wie können wir diese Dinge kühl halten, damit sie nicht sterben?" Ja, das ist wirklich wichtig.

Bryan

Okay, wir haben also viel über Daten gesprochen, richtig? Und lassen Sie uns das vertiefen. Wir haben viel über den digitalen Bereich gesprochen... lassen Sie uns auch über die Datenflut bei Sensoren sprechen, richtig? Wie können FPGAs auch in der analogen Welt helfen? Jeff, das ist wahrscheinlich eine Frage der Hardware.

Jeff

Ja, und eine, die auch sehr tiefgründig ist. Es gibt also zwei schnelle Antworten darauf.

Zum einen hat BittWare früher viele analoge Schnittstellenkarten hergestellt und diese dann in Signalverarbeitungsressourcen umgewandelt, hauptsächlich FPGAs.

Heute gibt es dafür eine Standardisierung, so dass wir das nicht mehr tun. Wenn man analoge Signale oder digitale Signale in einem Sender in analoge Signale umwandelt, geschieht das in der Regel irgendwo in einem Funkkopf oder einem Sensorkopf. Dann wird es digitalisiert, paketiert und weitergegeben.

Die meisten unserer Anwendungen, bei denen es um die Anbindung von Sensoren und die Implementierung von Verarbeitungsprozessen geht - sei es JESD oder VITA49 oder der neu entstehende DIFI-Standard für RF - haben eine Schnittstelle zu einem Standard-Paketprotokoll wie Ethernet, das einfach nur Daten überträgt.

Die andere Möglichkeit ist (wir sprachen gerade über die Chiplets und Kacheln), dass verschiedene Hersteller jetzt Analog-Digital-Wandler und Digital-Analog-Wandler als Checkbox-Optionen anbieten, die Stephen einfach... in dieser Farbe mit dieser Funktion bestellen kann. Und man kann sie mit ADCs oder ohne ADCs bekommen, und man kann tatsächlich eine direkte analoge Schnittstelle herstellen.

Und wir haben BittWare-Hardware, die direktes RF bei 5 GHz aufnimmt und digitalisiert... mit gehärteten Abwärtswandlern, Aufwärtswandlern und dann zur Nachbearbeitung in eine FPGA-Fabric verschiebt. Das ist also eine der Möglichkeiten, die es gibt.

Nicolette

Sie wissen, dass wir viele Fragen aus dem Publikum bekommen haben. Ich werde gleich auf eine davon eingehen. Mal sehen... können Sie über die Realisierbarkeit von FPGAs im Bereich des Edge Computing aus einer Kostenperspektive sprechen. Eignen sich FPGAs besser für Edge-Geräte oder für Edge-Systeme vor Ort?

Jeff

Nun, die Kosten gehören zu den Dingen, die wie Bandbreite und Leistung... Sie wissen schon, alles ist relativ, verstehen Sie? Und ich bin ein bisschen zusammengezuckt, als Stephen über den Raspberry Pi gesprochen hat, weil das ein etwas anderer Preispunkt ist. Und FPGAs sind im Allgemeinen nicht billig.

Ich bin mir sicher, dass unsere Vertriebsmitarbeiter - falls sie das hier hören - mir jetzt Darts zuwerfen. Aber die Natur... ich habe neulich gehört, wie es jemand genannt hat - FPGA ist ein Field Programmable Gate Array, aber ein anderer Begriff dafür ist ein flexibler, ziemlich guter ASIC, richtig? Und ich mag diesen Ansatz und diesen Begriff. ASICs sind sehr teuer in der Entwicklung und sehr billig in der Anwendung, wenn man sie einmal entwickelt hat, nicht wahr?

FPGAs gehen einen anderen Weg. Die Entwicklung ist immer noch schwierig, aber bei weitem nicht so teuer wie die Entwicklung eines ASIC. Aber die wiederkehrenden Kosten für die Geräte selbst sind viel höher. Und wenn man dann noch Leiterplatten, Stromversorgungen und thermische Beschränkungen haben will, können das ziemlich teure Lösungen sein. Und wenn man eine ausreichend große Sache hat, bei der der Preis eine Rolle spielt, greifen die Leute zu ASICs, die einfach billiger sind, und der Markt hat das bewiesen.

FPGAs sind also ziemlich gut darin, Dinge zu tun, die man nicht kostengünstiger erledigen kann. In diesem Sinne können FPGAs supergünstig sein, denn unabhängig davon, wie teuer die Hardware (und das IP unserer Partner) ist, wenn man das Problem nicht anders lösen kann und einen enormen Mehrwert für den Markt schafft und den nutzbaren Markt vergrößert - das ist eine sehr effiziente Geldausgabe. Aber die Kosten sind in der Regel nicht der eigentliche Grund, warum wir gewinnen.

Shep

Aber Jeff, es gibt noch andere Möglichkeiten, wie FPGAs einen Mehrwert schaffen können. Ich stimme dem zu, was Sie gerade gesagt haben, aber ich muss darauf hinweisen, dass FPGAs trotz ihrer zusätzlichen Kosten - trotz ihrer zusätzlichen Komplexität und Herausforderung bei der Integration - häufig verwendet werden, um Operationen auszulagern, für die sonst teure, schwere Kerne von AMD und Intel erforderlich wären.

Und der Nettogewinn ... obwohl viele Anwendungen nicht nach dem Motto vorgehen: "Meine Aufgabe ist es, die Anzahl der verwendeten Kerne zu reduzieren." Normalerweise lautet die Aufgabe, ein bestimmtes Berechnungsproblem zu lösen. Aber auf dem Weg dorthin stellen sie fest, dass eine FPGA-fähige Lösung (vielleicht wegen der cleveren Art und Weise, wie die Daten vom Netzwerk zum Speicher gelangen) weniger reisen muss und sozusagen weniger teures schweres Eisen benötigt, insbesondere in einem Rechenzentrum oder einer Situation vor Ort, im Gegensatz zu einer stromsparenden Situation vor Ort...und diese Kostenersparnis im Sinne von "Nun, ich brauche einen weniger starken Host-Prozessor, um die Aufgabe zu erledigen" ... ist eine wiederkehrende Ersparnis, die zur Finanzierung der teuren FPGA-Entwicklung und der teuren Boards verwendet werden kann ...

Jeff

Es geht um die Gesamtbetriebskosten, und ich denke, Stephens Anwendungen im Bereich der rechnergestützten Speicherung sind in diesem Zusammenhang besonders relevant, denn ich glaube nicht, dass irgendjemand behaupten würde, dass die rechnergestützten Speicherlösungen billig sind, aber sie sind billiger als die Alternativen.

Bryan

Ich meine... lassen Sie uns ein wenig über computergestützte Speicherung sprechen... und ich möchte auch ein wenig über das Verschieben von Daten sprechen, richtig? Du weißt schon, aus der Sicht deines Mannes - sowohl Shep als auch Stephen.

Ich weiß also nicht, ob Sie zuerst über die rechnerische Speicherung sprechen wollen und wir dann zurückgehen können oder ob Sie zuerst die Daten verschieben wollen?

Stephen

Ja, ich werde auf die rechnergestützte Speicherung zu sprechen kommen. Also, die computergestützte Speicherung - was passiert, ist, dass die Datenmenge, die die Welt produziert, einfach exponentiell zunimmt. Und ich glaube, die Unternehmen haben auch erkannt, dass diese Daten irgendwie nutzlos sind, wenn man sie nicht analysieren und aus den Daten Business Intelligence und kluge Geschäftsentscheidungen entwickeln kann, richtig.

Das Speichern von Daten hat nicht viel Sinn. Die Gewinnung von Erkenntnissen aus diesen Daten ist jetzt der Schlüssel. Und die Unternehmen wollen dies schnell und effizient tun. Sie haben also festgestellt, dass es besser ist, Abfragen an die Speicherebene zu übertragen und die Speicherebene diese Art von Aufgaben ausführen zu lassen, als eine ganze Reihe von Daten, wie Shep es angedeutet hat, auf Intel- oder AMD-CPU-Kerne zu übertragen und Software auszuführen. Sei es eine Datenbankabfrage, sei es eine KI-Inferenz über eine Reihe von Sensordaten, sei es die Analyse einer Datenbank für eine Art von Geschäftsmetrik.

Die Standardisierung findet also in einem Bereich statt, den wir computergestützte Speicherung nennen. Wir haben also nicht nur Boxen oder Geräte, die Daten speichern, sondern auch die Möglichkeit, Rechenanfragen an diese Boxen zu senden, egal ob es sich um ein Laufwerk, eine SSD oder eine Box voller SSDs handelt - so etwas wie ein NAS, richtig? Es werden also Standards dafür entwickelt, und FPGAs spielen dabei eine große Rolle, denn wie Shep angedeutet hat, gibt es bestimmte Aufgaben, die mit einem FPGA viel effizienter und kostengünstiger erledigt werden können.

Aber Sie wollen auch diese zeitliche Variabilität. Wenn sich die Abfrage ändert, möchten Sie vielleicht, dass sich die Funktionalität ändert, und hier können FPGAs wirklich glänzen: Sie haben die Möglichkeit, eine bestimmte Eigenschaft zum Zeitpunkt "A" zu haben, aber vielleicht ändert sich die Arbeitslast zu einer anderen Tageszeit und Sie möchten, dass die Verarbeitungsleistung ihre Eigenschaften ändert. Das ist mit einem ASIC wirklich schwer zu bewerkstelligen, aber mit einem FPGA ist es supereinfach zu bewerkstelligen.

Sie wissen, dass es bei der rechnergestützten Speicherung auch um Standards geht. Und wie ich bereits angedeutet habe, fördern Standards (meiner Meinung nach) die Marktakzeptanz, was die Preise nach unten drückt. Und das ist doch immer so, oder? Der Kauf eines FPGAs kann also eine Menge kosten. Wenn Sie eine halbe Million davon bestellen, bekommen Sie wahrscheinlich einen besseren Preis pro Einheit.

Jeff

Ja, und ein weiterer Punkt... wie alles bei FPGAs: es gibt eine große Bandbreite an Fähigkeiten und man kann FPGAs im Raspberry Pi Bereich kaufen, preislich gesehen, aber einige von ihnen sind, Sie wissen schon, über 10.000 $ für einen einzelnen Chip (in den extremen Fällen) und BittWare hat ebenfalls eine große dynamische Bandbreite an Optionen.

In Stephens Anwendungen mit rechnergestützter Speicherung, wenn die Leute eine große Anzahl von rechnergestützten Speicherbeschleunigern einsetzen, können wir Dinge für tausend Dollar oder weniger für begrenzte Anwendungen verkaufen, bei denen wir wissen, was der Anwendungsfall ist. Und wir haben andere Produkte für 400 Gigabyte - und diese Produkte gehen auf mehrere tausend Dollar für eine Lösung zu.

Und wir werden bald neue Produkte auf den Markt bringen, die mit diesen HBMs und all dem noch teurer sein werden. Es gibt also eine große Bandbreite an Kosten. Aber wenn wir es für Edge- und IOT-Einsätze betrachten, hängt es einfach davon ab, was Sie denken, was "eine Menge" bedeutet.

Bryan

Shep, möchtest du ein wenig über das Verschieben von Daten sprechen?

Shep

Sicher. (lacht)

Nicolette

Wir könnten noch eine Weile hier sein, wenn es um die Verschiebung von Daten geht, oder? (Gelächter) Alle anschnallen!

Bryan

Wir haben 25 Minuten Zeit; wir sind gut, wir sind gut.

Shep

Vielen Dank für diese Frage. Eines der... ich würde sagen, Atomic Rules bekanntestes IP-Produkt ist ein Produkt namens Arkville. Arkville ist die Marke von Atomic Rules für einen DPDK-basierten Datenmover. Dabei handelt es sich um einen IP-Core, der es relativ einfach macht, große Datenmengen von einem FPGA in den Host-Speicher oder umgekehrt zu verschieben, ohne in die tieferen Ebenen einzutauchen, über die ich bei diesem plattformbasierten Design gesprochen habe und die notwendig sind, um dies bei gleichzeitig hohem Durchsatz und relativ geringer Latenz zu erreichen.

Aus Sicht der Systemarchitektur ist der Begriff der Datenbewegung eigentlich ganz einfach, oder? Ich habe einen Datenteil "A" im FPGA und möchte Daten an einen Ort "B" im Host-Speicher bringen. Der Software-Ingenieur möchte vielleicht memcpy aufrufen oder, Sie wissen schon, Daten verschieben und das geschehen lassen.

Unser Ziel ist es, unseren Kunden diese Erfahrung so nahe wie möglich zu bringen, um ihre Wünsche zu erfüllen. Daten von der FPGA-Hardware in den Host-Speicher des Anwenders - keine Fragen/Probleme.

Ja, es ist viel komplizierter als das, aber das ist es, was unsere Kunden kaufen. Sie erkennen, dass sich hinter dieser so einfach zu beschreibenden Aufgabe Hardware-Design, Software-Design, API-Design, Treiber-Design, FPGA-Timing-Closure verbergen - all diese Teile, und Atomic Rules bietet dafür eine Komplettlösung, die einen enormen Wert hat, wenn die Datenübertragung von einem FPGA zu etwas, das wie ein Host-Speicher aussieht, für Sie wichtig ist.

Stephen

Ja, vielleicht möchte ich nur kurz etwas dazu sagen. Shep erwähnte DPDK, einen Host-Software-Stack im Netzwerkbereich, der den Datenverkehr vom Host-Speicher ins Netzwerk oder vom Speicher in den Speicher verschiebt. Ich arbeite mehr im Bereich der Speicherung, und ironischerweise geht es bei der Speicherung auch um die Bewegung von Daten. Es gibt Daten auf einer Festplatte und man will sie in den Speicher bringen, weil man sie verarbeiten will, oder man hat Daten im Speicher und will sie auf die Festplatte bringen und man will sie sicher aufbewahren, weil sie wie ein Bild Ihrer Katze sind, die Sie lieben, und Sie lieben Ihre Katze...

Es gibt also eine ganze Reihe von Speicherstandards, die sich auch auf die Datenbewegung beziehen. Wir machen also genau das Gleiche wie Shep. Wir erstellen diese Data Mover in Hardware auf dem FPGA, aber dann müssen wir dem Host und dem Kunden eine API präsentieren. Und wir verwenden speicherzentrierte Lösungen, während Shep netzwerkzentrierte Lösungen verwendet.

Für uns sind das Dinge wie NVMe (NVM Express), und viele Ihrer SSDs in Ihren Laptops oder Gaming-PCs haben heute NVMe-Laufwerke. Ein anderer ist SDXI, ein neuer Standard, der speziell für die Datenübertragung entwickelt wird. Diese ermöglichen es uns (als Softwareanbieter) auf dem FPGA, uns in wohlverstandene Stacks auf der Host-Seite zu integrieren (im Fall von Shep DPDK, in meinem Fall eher... Dinge wie NVM Express oder SDXI).

Nicolette

In Ordnung, Leute, ich möchte kurz über CXL sprechen. Als wir gestern geplaudert haben, haben Sie, Jeff, erwähnt, dass dies heutzutage ein ziemliches Modewort ist. Und ich dachte, es wäre wichtig, dass wir das erwähnen... darüber reden, was für ein Gremium mit CXL auf der Tagesordnung steht, und dann, vielleicht nach Steven und Shep, könntest du ein wenig darüber erzählen, was deine Vorstellung von so etwas ist.

Shep

Okay, Jeff?

Jeff

Nun, CXL hat sicherlich die Aufmerksamkeit aller auf sich gezogen. Und auch hier denke ich, dass die Versprechungen auf hohem Niveau sind, und wenn man die ganze Presse liest, weiß man, dass es einen magischen Feenstaub gibt, der alle Probleme verschwinden lässt. Aber das ist sicherlich nicht der Fall, aber es abstrahiert (es heißt Compute Express Link) und ermöglicht die Abstraktion und Verbindung von IO/Cache/Speicher in einer einzigen kohärenten Domäne, in der jeder die Informationen und Daten von jedem sehen kann.

Und es gibt verschiedene Möglichkeiten, dies umzusetzen. Eines der Dinge, die - obwohl ich glaube, dass es unsere Branche sicherlich verändern und die Art und Weise, wie Menschen Lösungen entwickeln und bereitstellen, dramatisch beeinflussen wird - ist meiner Meinung nach noch nicht ganz klar, wie. Und ich glaube nicht, dass viele Leute gesagt haben: "Ah! Ich habe es verstanden - ich weiß jetzt, wie man alles macht." Es eröffnen sich ganz neue Dimensionen und Möglichkeiten, die die Menschen bisher nicht durchdenken konnten. Und ich denke, es wird immer wieder Anläufe geben, und die Leute werden versuchen: "Oh, lass uns das so verbinden. Oh, warte, das funktioniert nicht so gut. Vielleicht gibt es einen besseren Weg, es zu tun".

Die andere Sache ist, dass es technisch gesehen schon sehr früh ist. Das FPGA, das wir Ende dieses Jahres auf den Markt bringen, wird also CXL 1.1 unterstützen. CXL 2 wird später herauskommen, ich glaube, im Jahr 2023. Und 3.0 ist bereits dokumentiert, geplant und veröffentlicht, und das ist eher ein Zeitrahmen bis 2024. Auf der Hardware-Ebene wird es also eine Evolution geben und auch eine Evolution der Menschen, die immer besser wissen, wie man Systeme mit CXL baut.

Stephen

Ja, wenn ich einfach mal einspringe, ich meine... also CXL, für diejenigen, die es nicht wissen, ist ein Protokoll, das über dieselbe Art von Verkabelung wie PCIe läuft. Wenn Sie sich also Ihren Laptop oder Ihre Spielkonsole oder Ihren Spiele-PC ansehen - überall, wo Sie ein PCIe-Gerät anschließen können - können Sie theoretisch in ein paar Jahren ein CXL-Gerät anschließen.

Die nächste Frage ist nun: "Warum sollte ich das tun?" Nun, PCIe hat einige Einschränkungen bei der Datenübertragung. Die größte ist, dass es nicht kohärent ist, wie wir es nennen. Man muss also ein wenig vorsichtig sein, wenn man Daten über PCIe zu einer Grafikkarte und einigen dieser Karten oder zu einer Netzwerkkarte überträgt. Und unsere Betriebssysteme kümmern sich darum für uns.

Bei CXL handelt es sich tatsächlich um ein kohärentes Protokoll. Es erlaubt uns also, einige Dinge zu tun, die wir mit PCIe nicht tun können. Nun, wir werden immer noch in der Lage sein, eine Menge mit PCIe zu tun, und wir tun eine Menge mit PCIe. Aber, wie Jeff angedeutet hat, eröffnet CXL einige neue Arten von Paradigmen.

Und wie er schon sagte, sind wir nicht ganz sicher, was wir tun werden. Aber nach dem, was ich in der Branche gesehen habe, werden viele der großen Cloud-Unternehmen als Erstes die Speicheraufteilung vornehmen. Sie werden einen Teil des Speichers vom DDR-Kanal des Prozessors auf eine CXL-Karte oder sogar auf ein Regal mit CXL für Hyperscaler (wie Google) verlagern.

Ich sehe das so: Wenn man das macht, dann kann man vielleicht auch ein paar Rechendienste einrichten, die mit dem Speicher arbeiten können, so wie wir es mit dem Rechenspeicher machen. Können wir also Berechnungen in den Speicher verlagern? Und dafür brauchen wir wahrscheinlich einige flexible Algorithmen - FPGAs kommen also bei mir gut an. Ich denke also, dass FPGAs in diesem Bereich ein großes Potenzial haben.

Ein weiterer wichtiger Punkt ist, dass wir nicht wirklich wissen, wie sich die Dinge entwickeln werden - wir brauchen also Flexibilität. Ich denke also, dass FPGAs vor allem in der Anfangsphase eine Chance bieten, weil wir nicht zu 100 % sicher sind, was wir tun wollen. Wir werden also nicht 50 Millionen Dollar ausgeben, um einen ASIC zu entwickeln. Wir werden mit FPGAs experimentieren. Vielleicht setzen wir sie in angemessener Anzahl ein. Ich... leider, wissen Sie, wenn die Anwendung groß genug ist, wird jemand sagen, nun, ich werde einen ASIC dafür entwickeln.

Aber ich denke, dass es eine Möglichkeit zur Flexibilität gibt, weil sich die Arbeitsbelastung verlagert, und ich bin von diesem Potenzial sehr begeistert.

Shep

Also, Stephen, ich habe... ich glaube, viele von uns, die CXL verfolgen, haben gehört, dass die Speicheraufteilung so etwas wie der "Aha!"-Moment für CXL sein wird. Aber es fällt mir schwer zu begreifen, was disaggregierter Speicher für die Latenz dieser Speicherladungen und -speicher für den Client bedeutet, der ihn tatsächlich nutzt.

Ich schätze, das ist eine Herausforderung, der sich CXL stellen muss, denn auf einem modernen Host-Prozessor geht es heute um Dutzende von Nanosekunden, die bei der Art von SerDes, die CXL jetzt nutzen will, auf Hunderte von Nanosekunden ansteigen. Ich persönlich möchte also nicht dagegen wetten, aber ich glaube nicht, dass das sofort passieren wird.

Was wir bei Atomic Rules tun, um CXL sofort zu erreichen... Intel ist mit seinen Agilex-Geräten der I-Serie aggressiv vorgegangen... wir haben vorhin über Chiplets und Tiles gesprochen... das entsprechende R-Tile (das wir heute als Teil unseres Gen5 Arkville verwenden... es wird in Arkville 22.07) - wir haben kein CXL, um das klarzustellen - aber dieses R-Tile, das PCI Express Gen5 ermöglicht... wir haben Intels Fähigkeit genutzt, CXL und PCI Seite an Seite zu verwenden, und wir haben... nur sehr wenige unserer Kunden brauchen heute den vollen Feuerschlauch von Gen5 x16. Einige von ihnen wollen das sicherlich, und wir werden sie sicher bedienen. Aber sagen wir mal so: 100-Gigabit-Ethernet oder mehrere Hundert-Gigabit-Ethernet oder 100-Gigabit-Pipes sind heute beliebter als 400-Gigabit.

Wir haben diese 100-Gigabit- und 400-Gigabit-Streams genommen und sie so aufgeteilt, dass wir heute auf Intels I-Series R-Tile Arkville mit einem gen5 x8 Endpunkt arbeiten lassen können (die Hälfte der verfügbaren Bandbreite) und die andere Hälfte des R-Tile-Kanals für CXL zur Verfügung steht. Um das klarzustellen: Atomic Rules hat heute null...null Angebote, die diese CXL-Fähigkeit unterstützen.

Wir sehen uns das, wie andere auch, sehr genau an, und wir denken, dass es einige Zeit dauern wird, bis wir es gelernt haben. Aber... unser kleiner Schritt in diese Richtung besteht darin, dass wir keine Schritte unternehmen, die die Einführung von CXL behindern würden, indem wir zum Beispiel sagen: "Nun, wenn ihr Atomic Rules verwenden wollt, dann geht ihr den PCI-Weg und ihr könnt CXL damit nicht haben." Wir sind genau das Gegenteil davon. Wenn Sie CXL mit Ihrem PCI kombinieren wollen, können Sie beides gleichzeitig haben.

Bryan

Hier also eine weitere Frage aus dem Publikum: "Sehen Sie voraus, dass die Anforderungen an SmartNICs mit höherer optischer E/A wie Co-Packaged-Optik mit FPGAs über das hinauswachsen, was programmierbare steckbare Empfänger leisten?" Ich glaube, das ist es, was sie fragen. Transceiver Entschuldigung.

Jeff

Die Antwort lautet: Ja, ich wünschte, sie wären jetzt da. Eine kleine Anekdote, die ich erzähle, ist, dass ich zu Beginn meiner Karriere in den achtziger Jahren mit einigen Leuten zusammengearbeitet habe, die davon sprachen, dass das ganze Kupferzeug in den Backplanes ein alter Hut sei. Wir werden in den nächsten Jahren zu optischen Backplanes und optischen Verbindungen übergehen (und das war in den Achtzigern, wohlgemerkt). Und natürlich ist nichts davon eingetreten.

Molex arbeitet sehr viel daran - das ist nicht mein Fachgebiet und ich bin nicht damit vertraut, was wir dort tun -, aber es gibt sicherlich den Wunsch und die Tendenz, diese Dinge vom Chip in das Gehäuse zu bringen, vom Gehäuse auf eine Leiterplatte zu einem Steckverbinder, und zwar immer schneller.

Und der ultimative Weg dorthin wird irgendwann die Photonik sein müssen. Und da gibt es zwei Stufen. Die eine besteht darin, den Chip über Kupfer irgendwie mit einer optischen Maschine im Gehäuse zu verbinden und die Optik in das Gehäuse zu integrieren. Die andere Möglichkeit, über die man spricht und an der man arbeitet, ist die Integration optischer Motoren in das Silizium. Man hat einfach einen Laser... auf dem Chip, der nach außen schießt, und der ist weiter draußen. Ich weiß nicht viel darüber, aber ich wünschte, es wäre wahr... aber ich rechne nicht damit, dass das in nächster Zeit geschieht.

Stephen

Ja, und ich denke, das ist eine weitere Chance für die Chiplet-Technologie. Das ist auch der Grund, warum mich Dinge wie UCIe so begeistern, denn Silizium-Photonik und solche Dinge erfordern oft einen völlig anderen Herstellungsprozess als der, den die flexible FPGA-Logik benötigt... was wiederum anders ist als das, was die ARM-Kerne benötigen... was wiederum anders ist als das, was die analogen Transceiver benötigen.

Die Chiplet-Technologie bietet uns die Möglichkeit, verschiedene Prozesse und möglicherweise sogar nicht auf Silizium basierende Halbleiter zu wählen (wenn dies sinnvoll ist), was bei der Silizium-Photonik häufig der Fall ist. Aber ich stimme mit Jeff überein. Ich bin mir sicher, dass Jeff Kunden hat, die heute die schnellsten Geschwindigkeiten und Einspeisungen wollen - und das erfordert Optik, insbesondere Optik außerhalb des Chips - und wir sind noch nicht ganz so weit, aber wir müssen dahin kommen, weil die Datenflut immer weiter wächst.

Shep

Ja, aber... die Photonik hat ihren Platz, und sie ist sicherlich der Weg, den man einschlagen muss, wenn man auf diese Weise in die Zukunft blicken will. Ich persönlich bin der Meinung, dass wir uns in einer Ära befinden, in der die enormen, wirklich enormen Fortschritte, die in den letzten Jahrzehnten in der SerDes-Technologie erzielt wurden, genutzt werden können, bevor wir die Hände hochwerfen und sagen, dass wir mit Analog fertig sind. Wir sind gerade erst dabei, uns mit der PAM4-Signalisierung zu beschäftigen. Und wir wissen, dass wir das Ende der Fahnenstange sehen.

Aber es gibt so viele Möglichkeiten, den Stromverbrauch zu reduzieren, die Komplexität zu verringern - damit diese Subsysteme, die für Dinge wie gen5 PCIe und CXL unerlässlich sind, einfacher funktionieren, erschwinglich sind - und nicht ein 10.000-Dollar-FPGA benötigen, um dieses Substrat zu tragen. Und ich denke, dass der Markt eine Möglichkeit für die langweiligen alten... 32-Gigabyte-SerDes von heute finden könnte, um einen Weg zu finden, wie sie kostenreduziert und in einem weniger teuren FPGA platziert werden können, was zu Lösungen führt, die den heutigen Lösungen ähnlicher sind, aber mit einem geringeren Stromverbrauch und niedrigeren Kosten.

Nicolette

Gut, nehmen wir diese Frage. "Welche Fähigkeiten sind erforderlich, um aus einem bloßen FPGA etwas zu machen, das ein bestimmtes Problem löst? Wie kann ich das, was Sie tun, nutzen, um meine FPGA-Einsätze erfolgreicher zu machen? Also ich... Stephen, vielleicht könntest du das übernehmen? Ich denke, wir könnten hier ein wenig über die Partnerschaft sprechen, das könnte eine gute Gelegenheit sein.

Stephen

Ja. Ich meine, ich denke, es gibt ein paar verschiedene Dinge. Zunächst einmal, für alle, die diesem Webinar zuhören und sich denken: "Ich möchte gerne spielen, ich möchte mich mit einem FPGA auseinandersetzen." Ich möchte sagen, dass es erstaunliche Entwicklungen bei Tools und akademischen Plattformen für die Arbeit mit FPGAs gegeben hat.

Und es gibt im Moment eine große Initiative, um mehr FPGAs quelloffen und herstellerneutral zu machen. Und es gibt einige großartige Programme, wenn man sie googelt, die das tun können. Und es gibt einige erstaunliche Online-Lernprogramme. Wenn Sie also lernen wollen - wenn Sie ein Geek im Quadrat werden wollen - gibt es da draußen wirklich gutes Material, und es lohnt sich, das auszugraben und damit zu beginnen, herumzuspielen. Du kannst ein billiges Board kaufen... du kannst es an deinen Laptop oder deinen Desktop anschließen. Man kann online gehen, es gibt YouTube-Videos, es gibt kostenlose Kurse und man kann sofort mit diesen Dingen spielen, und das ist ein wirklich guter Anfang.

Wenn Sie mehr daran interessiert sind, FPGAs einzusetzen, die ein bestimmtes Problem für Ihr Unternehmen lösen, wenn Sie das nicht selbst tun wollen, dann kommen Sie zu Leuten wie Shep und mir, um die Software zu entwickeln, die diese Abstraktionsebene anhebt, so dass Ihre Ingenieure nicht in FPGA-Sprachen sprechen müssen. Und die Low-Level-FPGA-Sprachen sind Dinge wie Verilog und VHDL und SystemVerilog - und sie sind, wissen Sie, sie sind Computerprogrammiercode, aber es ist nicht C, es ist nicht Python. Es ist ein viel niedrigeres Niveau.

Wir haben in unseren Unternehmen Teams, die sehr erfahren in der Arbeit mit diesen Sprachen sind, aber es geht um mehr als die Arbeit mit diesen Sprachen. Es geht darum, vom Standpunkt des Architekten aus zu verstehen, wie diese Dinge gebaut werden sollen.

Ich stelle mir ein FPGA immer wie eine Baustelle vor, wenn es gerade erst eingeschaltet wird. Man hat all diese Ressourcen wie Bauholz und Zement und so weiter. Und Jeff ist...

Jeff

Vergessen Sie nicht meine Wasserrohre!

Stephen

...Jeffs Firma liefert das alles. Sie kommen also... meine Firma kommt auf die Baustelle und sagt: "Nun, wir haben einen Haufen (entschuldigen Sie den Ausdruck) einen Haufen Material. Was werden wir heute bauen?" Richtig? Ich betrachte mich als eine Art Architekt unseres Unternehmens. Ich komme also rein und schaue mir die Ressourcen an, ich schaue mir an, was der Kunde will, und ich denke mir, okay, sie wollen einen... sie wollen einen Wolkenkratzer. Also gut. Also, es wird so aussehen.

Und ich würde auf höchster Ebene dafür sorgen, dass wir diesen Block brauchen. Wir brauchen diesen Block. Und dann kommt das Team und ist mehr wie das... Sie wissen schon, das Konstruktionsteam. Wir haben Experten innerhalb dieses Teams. Wir haben also das Äquivalent von Elektrikern und Klempnern und Gerüstbauern.

Und so fangen sie an, das gemeinsam zu bauen. Und am Ende haben wir tatsächlich ein Gebäude auf dem FPGA-Gelände, und es tut mir leid, dass diese Analogie wirklich schlecht funktioniert, aber (Gelächter) so stelle ich mir das vor. Man braucht also mehrere Fähigkeiten, richtig? Man braucht einen Architekten... man braucht Bauarbeiter und Programm-Manager und Elektriker und Klempner.

Und oft sind diese Leute, Sie wissen schon, Hochschulabsolventen mit jahrelanger Erfahrung. Und wir haben eine ganze Reihe von Tools, die wir verwenden, um es einfacher zu machen. Letztendlich wird die Bereitstellung dadurch erleichtert, dass wir die Abstraktionsebene erhöhen und dem Kunden eine API - sei es die API von Shep, unsere API oder eine standardbasierte API wie die oneAPI von Intel - präsentieren, weil sie ihm das Leben erleichtert.

Bryan

Ich weiß, dass wir neulich über Arkville als Datenvermittler gesprochen haben. Können Sie den Unterschied zwischen einem Datenmover und einer DMA-Engine erklären?

Shep

Sicher, diese Frage bekommen wir oft gestellt. Die DMA-Engine hat ihre Wurzeln in der eigentlichen Hardware, die das Kopieren von Daten auf einem Computer durchführt, und geht auf die frühe Computerarchitektur zurück: eine Handvoll Zähler, die Quelladresse, die Zieladresse ... die Software gibt den Startschuss mit einer Zählung, und die Daten werden von einem Ort zum anderen verschoben. Das ist so ziemlich das, was die meisten Hardware-, Software- und Systemingenieure unter einer DMA-Engine verstehen.

Aber Arkville als Lösung für die Datenbewegung - vom FPGA zum Host-Speicher oder umgekehrt - umfasst nicht nur die Low-Level-Bewegung von Speicherpuffern, und da der Speicher auf dem FPGA oder der Speicher im Host ist, sind sie natürlich abstrakt, vielleicht sind es Streams, vielleicht sind es Nachrichten. Wir wollen eine so einfache Schnittstelle wie bei DMA bieten: "Oh, Quelle hier, Ziel hier, zählen und los geht's!" ...aber auf dieser höheren Ebene.

Für den Hardware-Ingenieur bedeutet dies branchenübliche APIs für die Datenübertragung in und aus dem Modul. Auf der Softwareseite bedeutet es einen standardmäßigen virtuellen Zeiger auf den Speicher, so dass man ihn erzeugen oder verbrauchen kann.

Was passiert zwischen diesen beiden Vorgängen, z. B. dem Erzeugen von Daten im FPGA und dem Konsumieren dieser Daten im Host oder andersherum? Wir würden nicht sagen, dass unsere Kunden sich nicht dafür interessieren, was dort vor sich geht, aber sie wollen, dass das für sie erledigt wird. Sie wollen wissen, wie die Bewegung choreografiert wird und wie sie abläuft. Sie muss leistungsfähig sein, d. h. sie muss einen bestimmten Durchsatz und eine bestimmte Latenzzeit haben, und der Wert, der sich daraus ergibt, ist, dass es sich um eine weitere Plattform handelt. Die Datenübertragungsplattform wird für sie bereitgestellt, und sie können mit ihrer Anwendung weitermachen.

Wenn Sie spezielle Anforderungen haben und das Muster, das wir anbieten, nicht das Richtige ist, wie Stephen gerade sagte: "Es ist ein FPGA, machen Sie, was immer Sie brauchen; Sie haben diese Möglichkeit."

Wir haben uns die Standards zunutze gemacht, die wir zum Beispiel bei den AXI-Schnittstellen auf der Hardwareseite oder bei DPDK als Standard-Software-API der Linux Foundation gesehen haben, und wir waren erfolgreich, weil es eine ausreichend große Gruppe von Leuten gibt, die fanden: "Hey, ich will das nicht selbst machen müssen. Ich kann das von Atomic Rules kaufen oder ich kann das Board von BittWare/Molex bekommen und das hat für uns funktioniert."

Nicolette

Wir haben also noch etwa 4 Minuten Zeit, und ich habe mich gefragt, ob wir noch eine letzte Sache ansprechen könnten, bevor wir zum Schluss kommen. Und falls wir noch nicht zu Ihren Fragen gekommen sind, keine Sorge, BittWare und das Team haben Ihre Fragen, damit sie sie nach der Veranstaltung beantworten können.

Aber ich wollte ganz kurz über Open Source sprechen und wie wichtig es und die offenen Standards für die Einführung Ihrer FPGA-basierten Lösungen sind. Gibt es vielleicht irgendwelche Standards, die besonders wichtig sind, Stephen, könntest du das vielleicht übernehmen?

Stephen

Mit Sicherheit, ja. Ich meine, im Bereich der rechnergestützten Speicherung standardisieren wir das, was wir einen Befehlssatz in NVMe (NVM Express) nennen - von dem hoffentlich die meisten von Ihnen schon gehört haben und der sich wahrscheinlich in den meisten Ihrer Laptops befindet - um sowohl Berechnungen als auch Speicherung zu ermöglichen. Wenn wir also eine API benötigen, mit der wir Berechnungsaufgaben auf ein FPGA übertragen können, werden wir diesen sehr offenen Standard nutzen können.

Der Vorteil dabei ist: Ich muss mein Team nicht mehr dazu bringen, den Treiber für Linux oder Windows zu schreiben; ein NVMe-Laufwerk existiert bereits. Ich weiß, dass jeder Server, der heute auf den Markt kommt, jeder Desktop, der heute auf den Markt kommt, NVMe unterstützt, denn das ist es, was die Solid-State-Laufwerke antreibt, von denen wir unsere Betriebssysteme booten und unsere Spiele und andere Dinge laden.

Das macht mein Leben sehr viel einfacher und schafft auch ein Ökosystem, weil es nicht mehr nur um Eideticom geht. Es geht um jeden, der in diesem Bereich der NVMe-Rechenspeicher mitspielt. Das schafft also Wettbewerb, was nicht unbedingt eine großartige Sache ist, aber ich denke, es ist eine großartige Sache. Noch wichtiger ist für mich, dass dadurch ein Ökosystem entsteht, und Ökosysteme fördern die Akzeptanz. Die Akzeptanz drückt die Preise, was die Akzeptanz steigert, und so entsteht ein positiver Kreislauf.

Ich bin also ein großer Anhänger von Open Source und offenen Standards. Wir arbeiten viel an Dingen wie dem Linux-Kernel und an Dingen wie SPDK, dem Speicheräquivalent zu dem, was Shep vorhin sagte (DPDK).

Und auch hier denke ich, dass es wirklich wichtig ist, dass die Zusammenarbeit innerhalb einer Gemeinschaft stattfindet, dass viele verschiedene Unternehmen auf den Code schauen und sich fragen: "Wie können wir das besser machen? Wie können wir es sicherer machen? Wie können wir es effizienter machen?"

Und ich denke, das führt zu einer besseren Akzeptanz. Und das gefällt mir.

Shep

Alles, was Stephen gerade gesagt hat - das war großartig -, aber ich möchte noch etwas hinzufügen: der Gemeinschaft etwas zurückzugeben, und zwar so, dass der Code überprüft wird und Vertrauen erlangt. Sicher, niemand will eine proprietäre Lösung, also ist es interessant, etwas auf GitHub zu veröffentlichen, das irgendwo verfügbar ist.

Aber wissen Sie, was noch viel wertvoller ist? Die Überprüfung Ihres Codes durch die Linux Foundation und ihre verschiedenen Gruppen, so dass die Teile, die Sie als Open Source zur Verfügung stellen, von der gesamten Gemeinschaft als vertrauenswürdig und geprüft angesehen werden. Dieser Prozess, von dem ich weiß, dass Eideticom ihn durchführt und Atomic Rules ihn ebenfalls durchführt, ist für all das von entscheidender Bedeutung, weil der Wert dieser Open-Source-Codes vergrößert wird, wenn der Vertrauenskreis die Giganten der Branche umfasst.

Bryan

Nun, Leute, wir kommen zum Ende unserer Zeit. Ich wünschte, wir hätten ... wir hätten so viele tolle Fragen hier drin. Ich danke Ihnen allen, dass Sie am heutigen Live-Chat teilgenommen haben. Vielen Dank an unsere Sponsoren, Mouser Electronics, BittWare und Molex. Und vielen Dank an unsere fantastischen Diskussionsteilnehmer für ihre Teilnahme.

Nicolette

Ja, ich danke Ihnen vielmals.

Bryan

Ich wünsche Ihnen allen einen schönen Tag.