Wir freuen uns, die Veröffentlichung unseres neuesten Research-Papers „From discrete-time policies to continuous-time diffusion samplers: Asymptotic equivalences and faster training“ im Journal Transactions on Machine Learning Research (TMLR) bekannt zu geben.

Das Paper befasst sich mit einer zentralen Herausforderung im Bereich generativer KI: dem Training von Diffusion-Modellen, um komplexe Verteilungen (wie Boltzmann-Verteilungen) zu sampeln, ohne auf bereits existierende Ziel-Samples angewiesen zu sein.

Zentraler Beitrag
Unsere Forschung liefert mehrere Fortschritte für den Bereich der generativen Modellierung:

• Theoretischer Rahmen: Wir etablieren eine formale mathematische Brücke zwischen zeitdiskretem Reinforcement Learning (speziell GFlowNets) und zeitkontinuierlichen Objekten, einschließlich stochastischer Differentialgleichungen (SDEs) und partieller Differentialgleichungen (PDEs).
• Optimierung des Trainings: Das Paper zeigt auf, dass Entwickelnde durch die Wahl einer geeigneten groben Zeitdiskretisierung die Sample-Effizienz erheblich steigern können.
• Performance-Benchmarking: Unsere Methodik ermöglicht außerdem kürzere Trainingszeiten und eine wettbewerbsfähige Performance bei Standard-Sampling-Benchmarks, während gleichzeitig der gesamte Rechenaufwand reduziert wird.

Diese Arbeit spiegelt das kontinuierliche Engagement von dida wider, die ML-Theorie voranzutreiben, um effizientere und skalierbare Anwendungen für die Praxis zu schaffen.

Danksagung

Diese Forschungsarbeit war eine Gemeinschaftsleistung. Wir möchten allen Co-Autoren unseren Dank aussprechen: Julius Berner, Lorenz Richter, Marcin Sendera, Jarrid Rector-Brooks und Nikolay Malkin.

Ebenso danken wir den beteiligten Organisationen für ihre Unterstützung und die bereitgestellten Ressourcen: Caltech, NVIDIA, die Jagiellonen-Universität, Mila – Quebec Artificial Intelligence Institute, die Université de Montréal, Dreamfold, die University of Edinburgh, CIFAR und das Zuse-Institut Berlin.

Ressourcen
Hier finden Sie die Links zum Paper und zur Fachzeitschrift:

Vollständiges Paper: https://arxiv.org/pdf/2501.06148?

Informationen zum Journal: https://jmlr.org/tmlr/