Deduplicator
Офлайн-приложение для Windows, которое ищет дубликаты файлов по содержимому, включая визуально похожие изображения и аудио, и ничего не удаляет без подтверждения.
- Период
- 2026
- Роль
- Автор
- Стек
- C#, .NET 8, Avalonia UI, SQLite (WAL), XxHash128, pHash, Chromaprint, xUnit

Промо Deduplicator.
- стадий пайплайна
- 7
- экранов
- 12
- телеметрии
- 0
Что делает
Deduplicator сравнивает файлы по содержимому, поэтому переименованная или перемещённая копия всё равно опознаётся. Он находит точные дубликаты и визуально или на слух похожие изображения и аудио, а также собирает несколько разрозненных дисков в один чистый архив. Работает офлайн на Windows 10 и 11.
Пайплайн сканирования
Каждая стадия дешевле следующей, поэтому до дорогих доходят только кандидаты, пережившие предыдущие.
- Обход файловой системы и определение категории файла по магическим байтам.
- Группировка по размеру: кандидаты — только файлы одинакового размера, без чтения диска.
- Частичный хэш: XxHash128 первых и последних 64 КБ.
- Полный хэш только для файлов, совпавших по частичному.
- Побайтовая сверка перед тем, как файл признаётся точной копией, — защита от коллизий.
- Перцептивный анализ: pHash изображений и аудио-отпечатки, индексация в корзины LSH.
- Группировка в точные и похожие наборы с процентом схожести.
Правила безопасности
- Ничего не удаляется автоматически: только по подтверждению и только в Корзину или карантин.
- В группе всегда остаётся минимум одна копия — интерфейс не даёт удалить все.
- Похожие файлы обрабатываются только вручную, без пакетных действий.
- Запись файлов атомарна: временный файл, сброс на диск, переименование. При потере питания остаётся либо старый файл, либо новый.
- Прогресс хранится в базе, поэтому сканирование продолжается после прерывания.
- Офлайн по умолчанию: телеметрии нет, сеть используется только при явной проверке обновлений.