frank/streamertool

Watch

Fork 0

AI Clip Creation: Automatische Highlight-Erkennung und Clip-Publishing #48

New issue

Open

opened 2026-07-15 19:20:16 +02:00 by frank · 1 comment

frank commented

2026-07-15 19:20:16 +02:00

Owner

Kontext

Eklipse, Snip und Cross Clip automatisieren die Highlight-Erstellung aus Streams mittels KI. Streamer können automatisch die spannendsten Momente erkennen lassen, ohne manuell Clips schneiden zu müssen.

Twitch Clips gibt es nativ, aber die automatisierte Highlight-Erkennung und das Cross-Plattform-Publishing fehlen.

Streamertool hat aktuell keine Clip-Erstellung.

Ziel

Ein AI Clip Creation System für automatisierte Highlight-Erkennung und Publishing:

1. Automatische Highlight-Erkennung

KI-basierte Erkennung von spannenden Momenten via:
- Chat-Aktivitäts-Spitzen (viele Nachrichten in kurzer Zeit)
- Herzfrequenz-Spitzen (via #47)
- Alert-Aktivität (viele Follows/Subs/Bits)
- OBS-Scene-Wechsel (bestimmte Szenen als Highlight markiert)
- Manuelle Marker (Hotkey / Stream Deck)

2. Clip-Erstellung

Automatische Clips aus Highlight-Momenten (30-60 Sekunden)
Twitch Clips API ansteuern (Create Clip)
Lokale Aufnahme als MP4
Zusammenstellung von Highlight-Reels (mehrere Clips in einem Video)

3. Bearbeitung

Schnitt: Clip-Start/Ende anpassen
Overlays: Automatisch Emotes, Kameraeffekte, Memes hinzufügen
Untertitel: Automatische Caption-Generierung
Thumbnails: Automatische Thumbnail-Erstellung

4. Publishing

Direktes Exportieren zu TikTok, YouTube Shorts, Instagram Reels
Planung: Zeitgesteuertes Posten
Plattform-Optimierung: Automatische Formatanpassung (9:16 für Shorts, 16:9 für YouTube)

5. Admin-UI

Highlight-Liste mit Vorschau
Clip-Verwaltung (Bearbeiten, Löschen, Publizieren)
Automatisierungs-Regeln (z. B. "Erstelle Clip wenn Chat-Rate > 100/Min")

Technische Leitplanken

Twitch Clips API (Create Clip, Get Clip)
FFmpeg für lokale Video-Bearbeitung
AI-Clip-Erkennung über Event-Bus-Analyse (kein externer ML-Service nötig)
Publishing-APIs: TikTok, YouTube Data API, Instagram Graph API

Akzeptanz

Highlights werden automatisch erkannt (Chat-Spitzen, Alert-Spitzen, BPM-Spitzen)
Clips können aus Highlights erstellt werden
Thumbnails werden automatisch generiert
Export als MP4 für manuelles Posting
Automatisches Publishing auf mindestens einer Plattform (YouTube Shorts)

## Kontext Eklipse, Snip und Cross Clip automatisieren die Highlight-Erstellung aus Streams mittels KI. Streamer können automatisch die spannendsten Momente erkennen lassen, ohne manuell Clips schneiden zu müssen. Twitch Clips gibt es nativ, aber die automatisierte Highlight-Erkennung und das Cross-Plattform-Publishing fehlen. Streamertool hat aktuell keine Clip-Erstellung. ## Ziel Ein **AI Clip Creation System** für automatisierte Highlight-Erkennung und Publishing: ### 1. Automatische Highlight-Erkennung - **KI-basierte Erkennung** von spannenden Momenten via: - Chat-Aktivitäts-Spitzen (viele Nachrichten in kurzer Zeit) - Herzfrequenz-Spitzen (via #47) - Alert-Aktivität (viele Follows/Subs/Bits) - OBS-Scene-Wechsel (bestimmte Szenen als Highlight markiert) - Manuelle Marker (Hotkey / Stream Deck) ### 2. Clip-Erstellung - Automatische Clips aus Highlight-Momenten (30-60 Sekunden) - Twitch Clips API ansteuern (Create Clip) - Lokale Aufnahme als MP4 - Zusammenstellung von Highlight-Reels (mehrere Clips in einem Video) ### 3. Bearbeitung - **Schnitt**: Clip-Start/Ende anpassen - **Overlays**: Automatisch Emotes, Kameraeffekte, Memes hinzufügen - **Untertitel**: Automatische Caption-Generierung - **Thumbnails**: Automatische Thumbnail-Erstellung ### 4. Publishing - **Direktes Exportieren** zu TikTok, YouTube Shorts, Instagram Reels - **Planung**: Zeitgesteuertes Posten - **Plattform-Optimierung**: Automatische Formatanpassung (9:16 für Shorts, 16:9 für YouTube) ### 5. Admin-UI - Highlight-Liste mit Vorschau - Clip-Verwaltung (Bearbeiten, Löschen, Publizieren) - Automatisierungs-Regeln (z. B. "Erstelle Clip wenn Chat-Rate > 100/Min") ## Technische Leitplanken - Twitch Clips API (Create Clip, Get Clip) - FFmpeg für lokale Video-Bearbeitung - AI-Clip-Erkennung über Event-Bus-Analyse (kein externer ML-Service nötig) - Publishing-APIs: TikTok, YouTube Data API, Instagram Graph API ## Akzeptanz - [ ] Highlights werden automatisch erkannt (Chat-Spitzen, Alert-Spitzen, BPM-Spitzen) - [ ] Clips können aus Highlights erstellt werden - [ ] Thumbnails werden automatisch generiert - [ ] Export als MP4 für manuelles Posting - [ ] Automatisches Publishing auf mindestens einer Plattform (YouTube Shorts)

frank added the

effort:large

priority:medium

labels

2026-07-15 19:22:51 +02:00

frank referenced this issue

2026-07-15 19:34:26 +02:00

Social Media Auto-Posting: Go-Live, Clips und Schedule cross-posten #55

frank commented

2026-07-15 19:35:17 +02:00

Author

Owner

Erweiterung: Zusätzliche Clip-Features aus Breitrecherche

Folgende Features sollten in den Scope aufgenommen werden:

Post-VOD Processing: Highlight-Detection aus kompletten VODs (nicht nur Live), automatische Clip-Erstellung nach dem Stream

Auto-Captioning: Automatische Untertitel-Generierung für Clips, einbrennbar oder als SRT

Landscape-to-Portrait Conversion: Automatische Umwandlung von 16:9 Clips in 9:16 (TikTok/Shorts/Reels), Smart Tracking (folgt der Action im Frame)

Cross-Platform Export: Direktes Publishing zu TikTok, YouTube Shorts, Instagram Reels, Twitter/X, mit plattformspezifischen Formaten und Längen

Clip Library: Zentrale Verwaltung aller erstellten Clips, Sortierung, Suche, Wiederverwendung

## Erweiterung: Zusätzliche Clip-Features aus Breitrecherche Folgende Features sollten in den Scope aufgenommen werden: **Post-VOD Processing**: Highlight-Detection aus kompletten VODs (nicht nur Live), automatische Clip-Erstellung nach dem Stream **Auto-Captioning**: Automatische Untertitel-Generierung für Clips, einbrennbar oder als SRT **Landscape-to-Portrait Conversion**: Automatische Umwandlung von 16:9 Clips in 9:16 (TikTok/Shorts/Reels), Smart Tracking (folgt der Action im Frame) **Cross-Platform Export**: Direktes Publishing zu TikTok, YouTube Shorts, Instagram Reels, Twitter/X, mit plattformspezifischen Formaten und Längen **Clip Library**: Zentrale Verwaltung aller erstellten Clips, Sortierung, Suche, Wiederverwendung

frank added the

area:content

label

2026-07-15 19:55:23 +02:00

frank added this to the Content & Social milestone

2026-07-15 21:08:22 +02:00

No milestone

No project

No assignees

1 participant

Notifications

Due date

The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set

Reference

frank/streamertool#48

No description provided.

Rows
Columns