Мультимодальный AI

Пойми, как vision-language модели обрабатывают изображения и генерируют описания

Создавай приложения для анализа изображений: OCR, детекция объектов, понимание сцен

Освой 5 стратегий промптов для vision-моделей: от общих описаний до структурированного JSON и целевого аудита

Научись извлекать структурированные данные из сканов документов: чеки, инвойсы, контракты — с валидацией и маркерами уверенности

Изучи 5 типов визуальных галлюцинаций (объекты, атрибуты, пространство, OCR, подсчёт) и стратегии их обнаружения и предотвращения

Изучи 3 архитектуры мультимодального RAG: CLIP embeddings, LLM-описания и ColPali — когда и какой подход использовать

Создавай голосовых AI-ассистентов с speech-to-text, LLM и text-to-speech

Сравни traditional pipeline (STT→LLM→TTS) и end-to-end модели (GPT-4o): задержка, сохранение голоса, прерывания и voice+vision

Исследуй понимание видео, анализ аудио и генерацию мультимодального контента

Рассчитай стоимость vision API: как разрешение влияет на токены, сравнение провайдеров, оптимизация расходов на видео и изображения