Im Bereich der Multimediatechnik spielt die Entwicklung und Anwendung von DeepFake-Technologien eine zunehmend wichtige Rolle. In diesem Blogbeitrag möchten wir Ihnen einen Einblick in unsere jüngsten Experimente mit DeepFaceLabs und DeepFaceLive geben. Hierbei konzentrieren wir uns auf die Erstellung eines DeepFake-Modells und dessen Echtzeitberechnung.
Unser Projekt begann mit der Auswahl eines vortrainierten Modells, das bereits über 100.000 Iterationen verfügte. Um eine noch höhere Genauigkeit und Qualität zu erreichen, führten wir zusätzliche 36.000 Iterationen durch. Dieser Prozess wurde auf einem unserer neuen Hochleistungsrechner mit einer NVIDIA GeForce RTX 4090 Grafikkarte durchgeführt, welche über beeindruckende 24GB VRAM verfügt. Die Berechnung erstreckte sich über vier Tage.
Für das Training des Modells verwendeten wir etwa 1.700 Fotos, die teilweise aus Videos extrahiert wurden. Das Endprodukt, unser Modell „Hr F-P K“, erreichte eine beeindruckende Iterationszahl von 165.823 und folgende Spezifikationen:
Diese technischen Details demonstrieren die Komplexität und Leistungsfähigkeit unseres Modells.
Die Anwendung von DeepFakes in der Multimediatechnik ist vielfältig. Sie reicht von der Erstellung realistischer Charaktere in Videospielen und Filmen bis hin zur Simulation von Gesichtsausdrücken in virtuellen Trainingsumgebungen. Besonders interessant ist die Echtzeitberechnung, die es ermöglicht, DeepFakes live in Streams oder Videokonferenzen zu integrieren.
Die Experimente und Entwicklungen im Bereich DeepFake an der FH Kärnten zeigen das enorme Potenzial dieser Technologie. Sie bieten spannende Möglichkeiten für zukünftige Projekte und Forschungen in der Welt der Multimediatechnik.
Im 6. Semester absolvieren Multimediatechnik- Studierende ein facheinschlägiges Berufspraktikum, um im Studium erlangte Kenntnisse und Fähigkeiten im Kontext beruflicher Praxis anzuwenden.
Der Multimediatechnik- Student Youssef Zaki Khalil tat dies im Multimediatechnik- Team der FH-Kärnten und war neben anderen Tätigkeiten, wie der Wartung von Hardware und Software und der Unterstützung bei Veranstaltungen, vorwiegend mit der Entwicklung von MMT-Runner beschäftigt.
