Введение

VLMHyperBench — это профессиональная платформа для оценки Vision Language Models (VLM), ориентированная на задачи анализа документов и извлечения данных.

Ключевые возможности

• Изолированный инференс: Запуск моделей в Docker-контейнерах с поддержкой vLLM, SGLang и Hugging Face.
• Асинхронная архитектура: Высокая производительность при обработке больших датасетов.
• Структурированный вывод: Встроенная поддержка JSON Schema и валидация через Pydantic.
• Интерактивный дашборд: Мониторинг прогресса и визуализация метрик (CER, ANLS, Structural Fidelity) в реальном времени.
• Динамические промпты: Гибкое управление промптами на основе типов документов.

Мы стремимся создать "золотой стандарт" оценки VLM для индустрии.