News

Neues Paper über Diffusion-Modelle im Journal Transactions on Machine Learning Research (TMLR) veröffentlicht

Wir freuen uns, die Veröffentlichung unseres neuesten Research-Papers „From discrete-time policies to continuous-time diffusion samplers: Asymptotic equivalences and faster training“ im Journal Transactions on Machine Learning Research (TMLR) bekannt zu geben. Das Paper befasst sich mit einer zentralen Herausforderung im Bereich generativer KI: dem Training von Diffusion-Modellen, um komplexe Verteilungen (wie Boltzmann-Verteilungen) zu sampeln, ohne auf bereits existierende Ziel-Samples angewiesen zu sein. Zentraler Beitrag Unsere Forschung liefert mehrere Fortschritte für den Bereich der generativen Modellierung: Theoretischer Rahmen: Wir etablieren eine formale mathematische Brücke zwischen zeitdiskretem Reinforcement Learning (speziell GFlowNets) und zeitkontinuierlichen Objekten, einschließlich stochastischer Differentialgleichungen (SDEs) und partieller Differentialgleichungen (PDEs). Optimierung des Trainings: Das Paper zeigt auf, dass Entwickelnde durch die Wahl einer geeigneten groben Zeitdiskretisierung die Sample-Effizienz erheblich steigern können. Performance-Benchmarking: Unsere Methodik ermöglicht außerdem kürzere Trainingszeiten und eine wettbewerbsfähige Performance bei Standard-Sampling-Benchmarks, während gleichzeitig der gesamte Rechenaufwand reduziert wird. Diese Arbeit spiegelt das kontinuierliche Engagement von dida wider, die ML-Theorie voranzutreiben, um effizientere und skalierbare Anwendungen für die Praxis zu schaffen. Danksagung Diese Forschungsarbeit war eine Gemeinschaftsleistung. Wir möchten allen Co-Autoren unseren Dank aussprechen: Julius Berner, Lorenz Richter, Marcin Sendera, Jarrid Rector-Brooks und Nikolay Malkin. Ebenso danken wir den beteiligten Organisationen für ihre Unterstützung und die bereitgestellten Ressourcen: Caltech, NVIDIA, die Jagiellonen-Universität, Mila – Quebec Artificial Intelligence Institute, die Université de Montréal, Dreamfold, die University of Edinburgh, CIFAR und das Zuse-Institut Berlin. Ressourcen Hier finden Sie die Links zum Paper und zur Fachzeitschrift: Vollständiges Paper: https://arxiv.org/pdf/2501.06148? Informationen zum Journal: https://jmlr.org/tmlr/

2025

2024

2023

2022

2021

2020

2019

2018