Дмитрий КвасниковEN
Все проекты

Открытый код · Разработка

Deduplicator

Офлайн-приложение для Windows, которое ищет дубликаты файлов по содержимому, включая визуально похожие изображения и аудио, и ничего не удаляет без подтверждения.

Период
2026
Роль
Автор
Стек
C#, .NET 8, Avalonia UI, SQLite (WAL), XxHash128, pHash, Chromaprint, xUnit
Ссылки
Deduplicator — порядок в файлах

Промо Deduplicator.

стадий пайплайна
7
экранов
12
телеметрии
0

Что делает

Deduplicator сравнивает файлы по содержимому, поэтому переименованная или перемещённая копия всё равно опознаётся. Он находит точные дубликаты и визуально или на слух похожие изображения и аудио, а также собирает несколько разрозненных дисков в один чистый архив. Работает офлайн на Windows 10 и 11.

Пайплайн сканирования

Каждая стадия дешевле следующей, поэтому до дорогих доходят только кандидаты, пережившие предыдущие.

  • Обход файловой системы и определение категории файла по магическим байтам.
  • Группировка по размеру: кандидаты — только файлы одинакового размера, без чтения диска.
  • Частичный хэш: XxHash128 первых и последних 64 КБ.
  • Полный хэш только для файлов, совпавших по частичному.
  • Побайтовая сверка перед тем, как файл признаётся точной копией, — защита от коллизий.
  • Перцептивный анализ: pHash изображений и аудио-отпечатки, индексация в корзины LSH.
  • Группировка в точные и похожие наборы с процентом схожести.

Правила безопасности

  • Ничего не удаляется автоматически: только по подтверждению и только в Корзину или карантин.
  • В группе всегда остаётся минимум одна копия — интерфейс не даёт удалить все.
  • Похожие файлы обрабатываются только вручную, без пакетных действий.
  • Запись файлов атомарна: временный файл, сброс на диск, переименование. При потере питания остаётся либо старый файл, либо новый.
  • Прогресс хранится в базе, поэтому сканирование продолжается после прерывания.
  • Офлайн по умолчанию: телеметрии нет, сеть используется только при явной проверке обновлений.