Diplomová práce

---

Repozitář vytvořený za účelem verzování a koordinace.

Plánovaný termín odevzdání: 6.5.2024 (rezerva 1W)

Online verze pro prohlédnutí

Žurnál

Žurnál prováděné činnosti pro zpětnou dohledatelnost, evidenci a jednodušší korekci směřování práce.

Formát:

<Datum> [ <odpočet>, <počet_normostran>/60 ] <strávený čas>

• <bod_činnosti>

10.4.2024-12.4.2024 [ D-24, 16/60] - 16h celkem

• Sepisování sekce datasets

9.4.2024 [ D-27, 12/60] - 5h celkem

• Sepisování práce,
• Hledání podkladů pro sekci Video Generation
• Hledání podkladů pro sekci Datasets - dostupnost, porovnání uváděných datasetů v rešerších

4.4.2024-8.4.2024 [ D-28, 11/60] - 22h celkem

• Sepisování práce, tvorba grafik

3.4.2024 [ D-33, 2/60] - 3h

• Vyřešen problém s přístupem k DFDC - konfigurace AWS

2.4.2024 [ D-34, 2/60] - 5h

• Boj s AWS vzdálenou autentizací a autorizací pro stáhnutí DFDC (Neuspěšně)

1.4.2024 [ D-35, 2/60] - 5h

• Získání přístupu k DFDC datatsetu (uspěšně po 10 000 pokusech)

31.3.2024 [ D-36, 2/60] - 4h

• Sepisování do Teoretické části

30.3.2024 [ D-37, 2/60] - 4h

• Sepisování citací
• Stahování datasetů

29.3.2024 [ D-38, 2/60] - 5h

• Stahování datasetu DF-W, žádání o datasety
• Přednáška na transformátory z Installfestu

28.3.2024 [ D-39, 2/60] - 4h

• Kurz Knihovny UTB - Cituj, Hledej, Odevzdej

27.3.2024 [ D-40, 2/60] - 2h

• CycleGAN
• N-Shot learning

26.3.2024 [ D-41, 2/60] - 0h

• Žádání o DF-W dataset, po opravení formuláře ze strany autorů

25.3.2024 [ D-42, 2/60] - 0h

• NIL

24.3.2024 [ D-43, 2/60] - 0h

• NIL

23.3.2024 [ D-44, 2/60] - 0h

• NIL

22.3.2024 [ D-45, 2/60] - 0h

• NIL

21.3.2024 [ D-46, 2/60] - 1h

• Žádání autory DF-W o opravu formuláře datasetu

20.3.2024 [ D-47, 2/60] - 4h

• Studium článků o architekturách DeepFake
  • U-NET, kód
  • Pix2Pix – conditional GAN, kód
  • Cycle GAN, kód

19.3.2024 [ D-47, 2/60] - 1h

• Studium [Fully Convolutional Network] (https://arxiv.org/abs/1411.4038)

18.3.2024 [ D-48, 2/60] - 0h

• NIL - pracovní povinnosti

17.3.2024 [ D-49, 2/60] - 8h

• Stažení datasetů - FF++, CDDB, DeepFakeTIMID, zažádáno o DF-W

• Seznámení se s Deep Learning for Deepfakes Creation and Detection: A Survey

• Seznámení se s Adversarial training, Siamese Neural Network

16.3.2024 [ D-50, 2/60] - 0h

• NIL

15.3.2024 [ D-51, 2/60] - 0h

• NIL

14.3.2024 [ D-52, 2/60] - 1h

• VGG finetunning, masked multiplication

13.3.2024 [ D-53, 2/60] - 2h

• Dokončení v The Creation and Detection of Deepfakes: A Survey

12.3.2024 [ D-54, 2/60] - 4h

• Pokračování v The Creation and Detection of Deepfakes: A Survey

• Věci na které se podívat dále:

  • Stěžejní architektury: CycleGAN, FSGAN, VGG-Face, pix2pix, U-Net
  • Často používané techniky: Conditional VAE/GAN, One-Shot/few-shot learning (transfer learning), AdaIn vrstva
  • Způsoby práce s obličejem (CV): facial landmarks, boundaries, 3D Morphable model, UV map
  • Práce s audio (DSP): MFCC
  • Připomenout si optical flow

11.3.2024 [ D-55, 2/60] - 1h

• Studování v The Creation and Detection of Deepfakes: A Survey

10.3.2024 [ D-56, 2/60] - 4h

• Dokončena rekapitulace pro porozumění architekturám používaných pro generaci s přednáškou 11 | Detekce a segmentace z cs231n a přednáškou 8 | Self-Attention and Transformers z cs224n (2023)
• Pročítání review článků

9.3.2024 [ D-57, 2/60] - 0h

• NIL

8.3.2024 [ D-58, 2/60] - 0h

• NIL

7.3.2024 [ D-59, 2/60] - 3h

• Dokončení přednášky
• Dopsání žurnálu

6.3.2024 [ D-60, 2/60] - 3h

• Dokončení přednášky, započetí rychlé rekapitulace přednášky 10 | RNN z cs231n, pro lepší porozomění architektur za generátory i detektory deepfake.

• Zakládání a nastavování repozitáře.

• Během předášky jsem zjistil potřebu osvěžení si:

  • Evidence Lower Bound
  • Variational Bayesian methods

5.3.2024 [ D-61, 2/60 ] - 3h

• Na základě studování materiálů jsem zjistil potřebu prohloubit znalosti v oblasti UI používané ke generování obrázků. Dle svých zkušeností jsem nakonec přešel na přednášku 13 | generativní modely z Stanfordského cs231n, kde vysvětlují dobře stravitelnou formou a zároveň mají vše pěkně referencované.

• Během předášky jsem zjistil potřebu osvěžení si statistiky:

  • Likelihood
  • Kullback–Leibler divergence
  • Expectation-Maximization
  • Maximum likelihood estimation

• Začal jsem tento dokument zpětně k začátku týdne, pro účely:

  • koordinace
  • získání lepšího odhadu času
  • jednoduššího zpětného dohledání zdrojů

4.3.2024 - 4h

• Na základě čtení způsobů generace deep fakes z Masood - Deepfakes generation and Detection jsem se rozhodl prohloubit si znalosti v oblasti používaných UI pro vytváření deepfakes - VAE, GAN. Začal jsem:

  • Gretton - NIPS 2016 Workshop on Adversarial Learning
  • Baeldung - VAE vs GAN
  • Lecture 13 | VAE - COMS4995 Columbia Uni
  • TowardsDataScience - GAN
  • TowardsDataScienc - VAE

• Během studování jsem zjistil potřebu prohlobení znalostí z matematiky:

  • Variational Bayesian methods
  • Inverse transform sampling
  • Rejection sampling
  • Metropolis–Hastings algorithm

• Tvorba obrázků do DP (Face-swap)

  • Vygeneroval jsem fotky postav pomocí MidJourney
  • Na fotkách jsem udělal vzájemný face-swap pomocí faceswapper.ai

3.3.2024 - 4h

• Vyhledávání nejaktuálnějších článků se záměrem najít co nejaktuálnější datasety, modely pro generování i detekci.

• Nalezené články:

Datum přijetí	HREF	Poznámky
v3 z 15.2.2024	A Review of Deep Learning-based Approaches for Deepfake Content Detection	Transformers, 12 datasetů
16.12.2023	A Contemporary Survey on Deepfake Detection: Datasets, Algorithms, and Challenges	Schémata modelů na detekci deepfakes
26.10.2023	A Comprehensive Review of DeepFake Detection Using Advanced Machine Learning and Fusion Methods	Schémata modelů na generování
19.9.2023	Deepfake Attacks: Generation, Detection, Datasets, Challenges, and Research Directions	Detection clues, 12 datasetů
15.6.2023	A survey on deepfake video detection datasets	13 datasetů, poslední z Jul 21
21.5.2023	Deepfakes: evolution and trends	Motivace za vývojem deepfake, použití, trendy
11.8.2022	Hybrid Transformer Network for Deepfake Detection	Detekce pomocí transformeru
2.2.2022	A literature review and perspectives in deepfakes: generation, detection, and applications	hrozby, kategorie Entire Image Synthesis

Poznánky k praktické části

GCP/Vertex AI

• YT - List (asi) všech google tutoriálů
• YT - Custom models on Vertex AI
• GGL - Custom models on Vertex AI
• Medium - Keras on GCP

Vývoj

1. Nainstalujte pandoc
2. Přidejte cestu k pandoc do PATH v proměnných prostředí
3. Do .git/config přidejte:
   • Git hooks: přidejte hookspath pod [core]

       [core]
         hookspath = .githooks/

   • Konfiguraci git wdiff pro docx

     [diff "pandoc"]
       textconv=pandoc --to=markdown
       prompt = false
     [alias]
       wdiff = diff --word-diff=color --unified=1

• Změny ve wordu zobrazíte přes git wdiff

Notes & Links

• Markdown CheatSheet
• Tracking word changes in git