AMD hat einen neuen Trick auf Lager, um Spiele lebendiger erscheinen zu lassen, und dieser beinhaltet, einer Maschine beizubringen, wie Licht funktioniert, anstatt Szenen auf die alte Art und Weise mit Raytracing zu verfolgen. Die Forscher des Unternehmens haben eine Arbeit mit dem Titel „Temporally stable generative illumination with a one-step diffusion model“ veröffentlicht, und der Kernpunkt ist einfach: lassen Sie einen trainierten Bildergenerator die indirekte Beleuchtung frame für frame übernehmen.
Die Idee stammt von SungYe Kim, einem der Autoren, der das Ziel direkt erläuterte. „Wir versuchen, globale Illumination als ein Problem der Bilderzeugung zu lösen“, sagt er in einer Videopräsentation zur Arbeit. „Globale Illumination ist das, was eine gerenderte Szene realistisch aussehen lässt, und es ist auch der teuerste Teil des Renderings.“
Das One-Step-Modell
Diffusionsmodelle erstellen typischerweise Bilder langsam und arbeiten schrittweise durch Rauschschichten über viele Schritte. AMDs Forscher überspringen diesen langsamen Weg. Ihr Modell, genannt Stable Diffusion 2.1 Turbo, erzeugt ein sauberes Bild in einem einzigen Entrauschungsschritt. Das ist wichtig für die Geschwindigkeit, denn Echtzeit-Rendering benötigt Antworten jetzt, nicht später.
Die Methode verwendet einen Frame mit direkter Beleuchtung als Ausgangspunkt. Das direkte Licht kommt geradewegs von einer Quelle zu einem Objekt, ohne Ablenkungen. Dieser Frame wird zum ersten Hinweis für das Diffusionsmodell und gibt ihm ein Gefühl dafür, woher das Licht kommt, bevor es den Rest zu erfinden beginnt.
Training auf synthetischen Szenen
Das Modell lernt aus einem Datensatz von 31.000 Frames, die in Blender Cycles gerendert wurden, Blender’s Raytracing-Produktionsrenderer. Jeder Frame hat 1-30 Lichter und Objekte, die sich bewegen, was bedeutet, dass das Modell während des Trainings eine große Bandbreite an Lichtverhältnissen sieht. Der Datensatz läuft 50 Mal auf AMD Instinct MI210 GPUs durch.
Die Trainingssignale umfassen spärliche Beleuchtung, Radiantion, Material und Geometrieinformationen. Diese Signale halten das generierte Bild an der tatsächlichen Form und Oberfläche der Szene ausgerichtet. Der in das Modell eingespeiste Frame wird so verarbeitet, dass er sich auf die Beleuchtung und nicht auf Textur oder Details konzentriert. Dieser Ausrichtungsschritt ist entscheidend, da die öffentliche Reaktion auf KI-generierte Inhalte schwierig sein kann.
Frames konsistent halten
Ein großes Problem bei generativen Modellen ist, dass sie driften. Führt man die gleiche Aufgabe immer wieder aus, erhält man jedes Mal leicht unterschiedliche Ergebnisse, was sich als Flimmern oder plötzliche Veränderungen zeigt, wenn die Bildrate konstant bleibt. AMDs Forscher verwenden, was als temporäres VAE, oder TVAE, bezeichnet wird, um das zu beheben.
Das TVAE verwendet Bewegungsvektoren, um den aktuellen Frame mit vorherigen Frames abzugleichen. Es speichert eine Historie der vergangenen Ausgaben, sodass die Beleuchtung zwischen den Generationen nicht flackert oder seltsam wird. Das hält das visuelle Erlebnis flüssig, selbst wenn das Modell ständig neue Frames ausgibt.
Vergleich mit anderen generativen Modellen
Kim verglich die neue Methode in der Präsentation mit anderen Ansätzen. „Unsere Methode erholt weiche Schatten und die Bounce-Beleuchtung, während RGB↔X Inhalte halluziniert, die in der Szene nicht vorhanden sind, und DiffusionRenderer die Geometrie verfälscht“, sagte er.
Der Vergleich deutet darauf hin, dass der AMD-Ansatz das natürliche Aussehen von Licht bewahrt, anstatt Details zu erfinden, die nicht in der Szene hingehören. Diese Unterscheidung ist wichtig für Spiele, wo der Unterschied zwischen einem echten Schatten und einem falschen sofort offensichtlich ist für den Spieler.
Leistungswerte
Das Modell läuft mit 0,29 Sekunden pro Frame, was ungefähr 3,45 Frames pro Sekunde bei einer Auflösung von 512 x 512 entspricht. Das geschieht auf einer RTX 3090, was im Vergleich zu anderen benannten Techniken als recht schnell gilt. Der gesamte Prozess benötigt etwa 8–9 GB VRAM.
Bedenken Sie, dass dies nur der Schritt der globalen Beleuchtung ist, nicht die gesamte Pipeline für das Rendern eines Frames. Das Endergebnis wird mit dem ursprünglichen Frame unter Verwendung nur direkter Beleuchtung zusammengesetzt, was wahrscheinlich kleine Fehler abmildert.
Was das für Gamer bedeutet
AMDs Arbeit passt in einen breiteren Ansatz hin zur neuronalen Darstellung. Anfang dieses Jahres kündigte Jack Huynh eine neue Suite von FSR-Technologien namens FSR Diamond an, die „neural rendering der nächsten Generation“ beinhaltet. Die neue Forschung fällt unter diese Überschrift, zusammen mit verbesserter ML-basierter Hochskalierung, ML-basierter Mehrfach-Frame-Generierung, Ray Regeneration und Path Tracing.
Das Unternehmen hat bereits neuronales Rendering für Radeon-Karten und Konsolen mit FSR Diamond versprochen. Dieses Paper zeigt die technische Grundlage für dieses Versprechen. Ob es als Feature ausgeliefert wird oder im Labor verbleibt, hängt von der Leistung und dem Feinschliff ab.
„Globale Illumination ist das, was eine gerenderte Szene realistisch aussehen lässt, und es ist auch der teuerste Teil des Renderings.“
Der Nvidia-Vergleich
Nvidias Ankündigung von DLSS 5 löste eine starke Reaktion der Spieler aus, gefolgt von Rückschritt und Umformulierung, um es weniger aggressiv gegenüber Spielern und nützlicher für Entwickler erscheinen zu lassen. AMDs Forscher beobachten diesen Sturmwind sicherlich aufmerksam. Sie kennen die Risiken, eine neue Rendering-Technik ohne ordnungsgemäße Tests in Spiele zu bringen.
Gerüchte kursieren bereits über eine AMD-neuronale Lichtanwendung, darunter Beiträge des Leakers Kepler_L2 in den Anandtech-Foren über Overclock3D. Es ist nicht klar, ob sich dies auf diese spezielle Forschung oder auf etwas weiter fortgeschrittenen Entwicklungsprozess bezieht.
Eines ist klar: Neuronales Rendering ist Nvidia nicht mehr exklusiv vorbehalten. AMD treibt seine eigene Version voran, und die technischen Details zeigen echte Fortschritte beim schwierigsten Teil des Problems.
Die Forschung ist vielversprechend, aber die Zahlen zeigen den Abstand zwischen Proof-of-Concept und einem auslieferfähigen Produkt. 3,45 Bilder pro Sekunde auf einer leistungsstarken GPU sind schnell, aber weit entfernt davon, was Spiele benötigen, um reibungslos bei 60 Bildern pro Sekunde zu laufen.
Der eigentliche Test wird kommen, wenn AMD entscheidet, wie es diese Technologien an Spieler verkaufen will. Das Unternehmen ist bisher vorsichtig mit seiner Botschaft umgegangen und wird wahrscheinlich weiterhin vorsichtig sein. Die Forschung zeigt den Weg nach vorne, aber der Abstand von Papier zum Produkt bleibt beträchtlich.
Im Moment steht das Paper als Marker dafür da, wo AMDs Denkrichtung liegt. Das Unternehmen hat einen Plan für neuronales Rendering, und diese Arbeit ist Teil davon. Ob es zu einem praktischen Feature wird oder in der Geschichte der Computergrafik einen Fußnote bleibt, hängt von den nächsten Jahren der Ingenieursarbeit ab.
Sehen Sie sich das Video an, um das die Geschichte aufgebaut ist, auf PC Gamer.
Das Notizbuch abonnieren.
Die besten Geschichten des Tages und jedes neue Urteil, in klarem Deutsch, um sieben im Postfach. Eine Mail am Tag, nicht mehr.