Поиск дублированных файлов. Поиск и удаление дубликатов файлов в Windows с помощью пятерки бесплатных программ

Часто у нас хранятся похожие фотографии, неудачные кадры, или же лежат в разных папках жесткого диска одинаковые снимки. Чем больше человек увлекается фотографиями, тем больше таких файлов может храниться на компьютере, занимая свободное место. Чтобы найти одинаковые фотографии на компьютере, обратимся за помощью к сторонним программам.

Какими бывают одинаковые фотографии

Рассмотрим, какие фотографии, являющиеся дубликатами, обычно хранятся на компьютере:

1. Полностью идентичные файлы:
   как правило, образуются при копировании одних и тех же папок с фотографиями в разные места для сохранности.
2. Фотографии с одинаковыми именами файлов:
   могут появиться, если пользоваться разными фотоаппаратами одной марки. По сути не являются одинаковыми фотографиями, но могут быть случайно удалены при визуальном сравнении имен файлов без просмотра их содержимого.
3. Неудачные кадры:
   с уходом из массового обращения пленки для фотографий отпала необходимость контролировать количество сделанных кадров. Что, в свою очередь, позволило делать столько фотографий, сколько требуется, и потом отобрать самые удачные. Неудачные кадры, зачастую, визуально очень похожи на удачные, за исключением мелочей: моргнувший человек, смазанный кадр, случайный объект в поле съемки.
4. Изменённые фотографии:
   уменьшенные или увеличенные копии, фотографии с добавленными надписями, обрезанные в редакторе изображения.

Рассмотрим две популярные программы для поиска дубликатов изображений и сравним их возможности. Для этого возьмем фотографию известного кота, сделаем несколько её копий с разными изменениями и поместим все файлы в одну папку.

Способ 1: Awesome Duplicate Photo Finder

Бесплатная программа, не требующая установки. Благодаря простому интерфейсу позволяет быстро проверить папки на наличие дубликатов. Русский язык отсутствует.

Скачать Awesome Duplicate Photo Finder

1. 1. Запускаем программу.

1. 1. Выбираем папку для поиска нажав на «+» .

1. 1. После нажатия на кнопку «Start search» получаем таблицу с результатами и окно сравнения двух выбранных файлов.

Программа показывает процент сходства двух изображений и предлагает три варианта действий с каждым:

1. • Move — Переместить;
   • Browse — Показать в папке выбранный файл;
   • Delete — Удалить.

Способ 2: AntiDupl.NET

Бесплатная программа с открытым исходным кодом, с поддержкой русского языка. Покажем её возможности на тех же четырех фотографиях.

Скачать AntiDupl.NET

1. 1. Запускаем программу.

1. 1. Для начала поиска нажимаем «Поиск» и выбираем «Пути» .

1. 1. Добавляем папки, в которых будет произведен поиск, и нажимаем «Ок» .

1. 1. Запускаем поиск в выбранных папках, нажав «Поиск» и затем «Начать поиск» .

1. 1. После завершения поиска в главном окне выводится сравнение двух изображений в таблице найденных совпадений.

Программа смогла найти дубликат фотографии и в графе рекомендаций советует удалить один из файлов.

В данном случае приложение нашло два похожих изображения и показывает их отличия выделяя красным цветом в их свойствах (размер файла, размер изображения, степень сжатия, степень размытия).

Заключение

Разница между работой этих двух программ минимальна, но для некоторых пользователей наличие русского интерфейса является главным плюсом.

Как жаль, что жесткие диски не резиновые! Хотелось скачать пару-тройку фильмов на выходные да установить на ПК новую игру, но вот досада – свободное место почти закончилось. И освободить его нельзя, ведь на диске хранится только важное и нужное.

Выше нос! Вы можете увеличить объем свободного места на 5-50% без риска потерять ценную информацию. Как? Путем удаления идентичных копий документов, фотографий, аудиозаписей, видео и прочего добра, которого за год работы компьютера скапливается несколько сотен. Итак, как произвести поиск и удаление дубликатов файлов в Windows

К сожалению, встроенный в систему инструмент очистки дисков «не обучен» искать идентичные копии данных, и нам придется обратить свой взор на сторонние приложения. В сегодняшнем обзоре – 5 бесплатных утилит, которые делают эту работу быстро, четко и чисто.

Auslogics Duplicate File Finder

Одно только то, что , заявляет о некотором уровне качества и претендует на доверие пользователей. Программа поддерживает все выпуски Windows, регулярно обновляется, имеет русский язык и очень легко поддается освоению. Для поиска дубликатов она использует особый интеллектуальный алгоритм – сравнивает не только имена, но и внутреннее содержимое файлов, что гарантирует высокую точность результатов.

Функции и возможности Auslogics Duplicate File Finder

• Настройка фильтра по типу объектов: все либо только изображения, аудио, видео, архивы и приложения.
• Исключение из поиска файлов меньше и больше заданного размера.
• Исключение из критериев поиска названий, дат создания/изменения файлов и атрибутов «скрытый».
• Нахождение дубликатов с определенными именами или заданным фрагментом в имени.
• 3 способа удаления дублей: в корзину, безвозвратно и путем сохранения в архив.
• Восстановление данных из архива.
• Предпросмотр объектов перед удалением.
• Поддержка пользовательских списков исключения из сканирования файлов и папок.
• Откат системы на точку восстановления из интерфейса программы.

Использовать Auslogics Duplicate File Finder легко и удобно. К тому же можно не опасаться, что программа уничтожит какие-либо данные без вашего ведома и возможности восстановления (только если вы сами не выбрали опцию удаления мимо корзины). Впечатление портит лишь «ненавязчивое» предложение установить другие продукты разработчика, которое иногда появляется при запуске.

CloneSpy

Утилита предназначена для поиска дублированных файлов не только на жестком диске, но и на переносных накопителях. Она чуть сложнее в применении, чем Auslogics Duplicate File Finder, но более функциональна и способна работать без установки на компьютер – при запуске инсталлятора юзер может выбрать ее стандартный или портабельный вариант.

Функции и возможности CloneSpy

• Поддержка любых типов файлов.
• Поиск дубликатов по идентичному содержимому или одинаковому имени в совокупности с другим критерием – расширением, названием, размером.
• Нахождение объектов нулевой длины.
• Множество вариантов операций с копиями файлов: удаление вручную или автоматически (можно заранее выбрать, какой объект удалять – новый или старый), помещение в определенную папку, формирование списка дубликатов без удаления и прочее.
• Любые операции с найденными дубликатами (в том числе отложенные) при помощи пакетных командных файлов.
• Замена удаленных копий на ярлыки или жесткие ссылки.
• Вычисление контрольных сумм для возможности проверки объектов на идентичность.
• Поддержка пользовательских фильтров поиска.

CloneSpy функционирует быстро и бесперебойно, поддерживает все версии винды, регулярно получает обновления, но не имеет русского языка, что несколько затрудняет его освоение. Кроме того, некоторых пользователей отталкивает интерфейс, выполненный в стиле Windows 98.

Soft4Boost Dup File Finder

Разработчики утилиты позаботились не только о функциональности, но и о красоте своего продукта: к вашим услугам – 11 стильных вариантов оформления (скинов). Кроме того, приложение переведено на 9 языков, включая русский, и имеет интуитивно понятное управление.

Soft4Boost Dup File Finder приступает к делу сразу – при первом запуске на фоне главного окна открывается окошко мастера, который пошагово проведет вас через все этапы настройки. Запутаться и ошибиться не получится.

Функции и возможности Soft4Boost Dup File Finder

• Нахождение копий объектов по содержимому.
• Выбор категории поиска: среди всех файлов или только изображения, аудио, видео, архивы или приложения.
• Опция игнорирования имен объектов.
• Сканирование локальных и сетевых папок, а также съемных носителей (можно выбрать несколько).
• 2 способа удаления: в корзину и безвозвратно.

В отличие от многих «халявных» приложений, которые пытаются окупить свою бесплатность попутной установкой мусора или навязчивой демонстрацией рекламы, Soft4Boost Dup File Finder лишь скромно предлагает купить продукты того же разработчика оптом по 1399 рублей. Если они вам не нужны, просто не нажимайте на банер.

Как и остальные программы сегодняшнего обзора, Soft4Boost Dup File Finder поддерживает все версии Windows и регулярно обновляется.

AllDup

Утилита не столь интуитивна, как предыдущая, зато богата функциями. Не будь в ней русского языка, освоить все возможности за 5 минут смог бы не каждый. Хотя ничего сложного в этой программе нет. При первом запуске вместе с главным окном открывается небольшой подсказчик – окошко «Быстрый старт» с тремя кнопками: «Выбор исходной папки», «Выбор метода поиска» и «Начало поиска». Поочередное нажатие этих кнопок открывает области, где нужно что-либо выбрать или настроить.

Пользователи, владеющие английским, могут осваивать AllDup по материалам встроенной справки, которая открывается в нужном месте при нажатии на значки вопроса.

Функции и возможности AllDup

• Большой перечень критериев поиска: имя, расширение, размер, содержимое, даты создания и изменения, атрибуты файла, жесткие ссылки, похожие изображения. Поиск по сочетанию нескольких критериев.
• Сканирование содержимого архивов (нахождение отдельных дубликатов в архивах).
• Настраиваемый способ сравнения имен объектов: по полному совпадению, по начальным символам в имени, по заданному количеству совпадающих символов и т. д.
• Нахождение файлов с похожими именами.
• Сравнение содержимого файлов.
• Гибкие параметры поиска с возможностью выбора дополнительных действий до и после него.
• Ведение лога сканирования.
• Гибко настраиваемый фильтр игнорирования объектов.
• Создание жесткой ссылки или ярлыка на сохраненный файл на месте удаленного дубликата.
• Отсутствие ограничений на количество сканируемых каталогов.
• Сканирование съемных носителей.
• Предварительный просмотр найденных файлов с отображением различных параметров – на случай затруднения при принятии решения об удалении.
• Составление удобных списков результатов поиска. Экспорт списков в формат txt или csv.
• Сохранение результата сканирования. Позволяет закрывать программу, не дожидаясь окончания проверки. И после повторного запуска начинать не сначала, а с момента остановки.
• Создание и сохранение нескольких профилей настроек.

AllDup отличается от многих конкурентов высокой скоростью сканирования и полнотой обнаружения дублированных объектов. Кстати, благодаря функции поиска похожих файлов программу можно использовать для нахождения каких-либо данных на жестком диске без цели удаления.

Еще одна приятная особенность утилиты AllDup – это полное отсутствие рекламы. Вместо нее на верхнюю панель вынесена кнопка «Поддержать автора» любой приемлемой суммой, если вы захотите этого сами.

DiskBoss

Нельзя полностью отнести к классу программ для удаления дубликатов файлов. Это лишь одна из функций, помимо которой утилита умеет очень и очень многое. DiskBoss – это оптимизатор дискового пространства и усовершенствованный файловый менеджер. Он предназначен для анализа использования накопителей и управления всеми объектами, которые на них находятся.

Функции и возможности DiskBoss

• Исследование дискового пространства с отображением на круговой диаграмме, сколько места занимают те или иные объекты.
• Классификация, сортировка и группировка файлов и папок по множеству критериев, в том числе по правилам пользователя.
• Поиск и очистка дубликатов на рабочих станциях и серверах под управлением Windows. Гибкие критерии поиска.
• Несколько вариантов действий с найденными дубликатами – удаление, архивация, перенос в другое место и т. д.
• Замещение удаленных дубликатов ссылками.
• Сохранение отчетов сканирования и очистки дисков от дублированных данных в форматах html, excel, pdf, txt, csv и xml.
• Отображение результата поиска дубликатов на круговых диаграммах.
• Создание и выполнение автоматических сценариев по очистке дисков.
• Улучшенная система поиска данных на диске.
• Синхронизация данных в указанных каталогах.
• Удаление групп файлов на основе заданных критериев.
• Мониторинг изменений в файловой системе дисков в реальном времени.
• Анализ целостности и прочие операции с файлами.
• Многое другое.

Утилита DiskBoss будет хорошим выбором для тех, кому нужна полная картина содержимого и состояния дисков, а также возможность управлять всеми данными на них, используя ручные и автоматические методы. Приложение выпускается в бесплатной и нескольких платных версиях, причем первая содержит почти всё, что есть в платной версии pro, кроме нескольких инструментов автоматизации.

Пожалуй, единственный недостаток DiskBoss – отсутствие русского языка, но ради такого богатства функций с этим можно смириться. В остальном утилита очень хороша, а для некоторых задач – незаменима.

Конечно, это далеко не исчерпывающий список программ, предназначенных для удаления идентичных копий файлов. Их десятки, а может, и сотни. Однако этого скромного набора достаточно, чтобы удовлетворить потребности 90% пользователей Windows. Надеюсь, что что-то из них пригодится и вам.

Ещё на сайте:

Поиск и удаление дубликатов файлов в Windows с помощью пятерки бесплатных программ обновлено: Август 4, 2018 автором: Johnny Mnemonic

> Как удалить дубликаты музыкальных файлов?

Введение.

Коллекция музыкальных файлов неизбежно содержит дубликаты. Некоторые из них могут быть нужными (ремиксы, альбомные и живые версии и т.п.), другие просто занимают место на диске и загромождают списки воспроизведения. Вы можете решить просто заменить часть файлов MP3 аналогичными файлами в формате FLAC или APE, чтобы слушать музыку без потерь качества. В этом случае вам придется удалить дубликаты MP3 . Если делать это вручную, можно потратить довольно много времени, поэтому было бы неплохо автоматизировать процесс. Однако большинство программ поиска дубликатов не могут определить, что файл MP3 является дубликатом файла FLAC.

В целом удаление дубликатов освободит место на диске без необходимости удалять что-либо нужное. Здесь мы рассмотрим, как можно удалить дубликаты музыкальных файлов с помощью Music Duplicate Remover . Эта программа поддерживает наиболее популярные форматы аудиофайлов и может распознавать дубликаты в различных форматах, с прописанными или отсутствующими тэгами и т.п.

Шаг 1: Загрузка и установка программы.

Загрузите Music Duplicate Remover на ваш компьютер и запустите файл. Следуйте подсказкам на экране для установки программы удаления дубликатов.

Шаг 2: Запуск программы. Настройка поиска дубликатов.

Запустите Music Duplicate Remover. Будет показано главное окно:

Как мы видим, интерфейс очень похож на Проводник Windows: слева показаны папки на нашем компьютере. Чтобы сканировать папку на дубликаты, просто поставьте галочку рядом с ней.

Правая панель сейчас почти пуста, но мы видим две вкладки: "Опции поиска" и "Опции группировки". По умолчанию выбрана первая папка. Здесь у нас есть список "Сравнивать". В нем - три предустановленных профиля поиска дубликатов: "По ID3-тэгам", "По звуку" и "По звуку и ID3-тэгам". Эти профили не являются чем-то неизменным, они просто объединяют различные параметры поиска. Мы можем их отредактировать или удалить и добавить собственные.

Здесь мы видим, какие опции выбраны для профиля "По ID3-тэгам". В наших файлах будут сравниваться только те поля, которые отмечены галочкой. Цифры рядом с полями позволяют определять значимость соответствующего поля. Например, мы можем сделать название более важным, чем альбом, записав в поле названия 100, а в поле альбома - 50.

Опция "Игнорировать поля с пустыми значениями" определяет, как будут обрабатываться файлы с пустыми тэгами. Мы поэкспериментировали с программой и пришли к выводу, что эта опция по умолчанию должна быть отключена, но почему-то это не так. Так что если вы захотите сканировать дубликаты по тэгам, попробуйте отключить эту опцию. Результаты должны быть точнее.

Справа находится область "Сравнение по звуку". К счастью, здесь только пара возможных настроек, а поиск дубликатов по звуку работает довольно-таки хорошо в этой программе, так что мы выберем именно эту опцию.

"Поддерживаемые форматы" позволяют выбрать, какие форматы следует сканировать. Например, если мы снимем галочку с MP3, программа не будет сканировать MP3 файлы.

Теперь несколько слов об опциях группировки:

Здесь мы можем добавить папки, в которых дубликаты нужно оставить, и папки, в которых дубликаты нужно удалить. Это позволит программе автоматически сортировать найденные дубликаты именно так, как нам необходимо.

Справа мы можем настраивать приоритет для расширений файлов, передвигая более важные расширения в верхнюю часть списка, а также приоритизировать битрейт. В нашем примере мы предпочли FLAC перед APE, с MP3 на третьем месте. Это значит, что если программа найдет похожие файлы FLAC и APE, первый будет отмечен как оригинал, а APE помечен для удаления.

Конечно, мы все равно просмотрим список найденных дубликатов, но эти настройки сделают нашу жизнь гораздо проще.

Шаг 3: Поиск дубликатов музыкальных файлов.

Нужные папки уже выбраны? Для нашего примера мы воспользуемся профилем "По звуку". Давайте нажмем кнопку "Найти дубликаты" на панели инструментов программы. Music Duplicate Remover начнет сканирование:

После сканирования будет показано такое сообщение:

Нажмем "ОК". Теперь список справа уже не пуст:

Мы можем раскрыть все элементы, чтобы просмотреть дубликаты. На иллюстрации выше мы видим, что некоторые файлы выделены зеленым, а некоторые - красным. Эти цвета - результат наших настроек на вкладке группировки: мы добавили одну из папок в список, где дубликаты нужно сохранить, а другую - в список, где дубликаты следует удалять. Как мы видим, программа правильно отсортировала наши файлы, отмечая ненужные дубликаты для удаления. Но мы также видим, что первые два файла в списке выделены зеленым. Это означает, что они оба находятся в папке, где дубликаты следует сохранять. Программа показывает такие файлы, но не помечает их для удаления. Если мы хотим удалить один из таких файлов, нужно поставить галочку напротив него. Такая функция позволяет предотвратить удаление важных файлов по невнимательности.

Наконец нажмите кнопку "" на панели инструментов, чтобы избавиться от отмеченных файлов.

Пробная версия Music Duplicate Remover может удалить до 20 дубликатов. Если вам понравилась программа, вы можете ее зарегистрировать и снять все ограничения.

Music Duplicate Remover - мощный инструмент для поиска дубликатов музыкальных файлов. Он просканирует ваш жесткий диск (или любое другое устройство хранения информации) и удалит повторяющиеся файлы . Перед удалением можно просмотреть результаты поиска и запросто пересортировать список с помощью нескольких простых правил так, чтобы удалились только ненужные вам файлы. С другой стороны, благодаря предварительной настройке программа готова к работе сразу после установки, и достаточно всего трёх кликов, чтобы удалить дубликаты файлов .

• Даже на жестком диске средненького современного компьютера число файлов может запросто перевалить за миллион. Много ли это? Если мы возьмемся просматривать файлы вручную и уделим каждому из них всего одну секунду, нам понадобится около двух недель , чтобы просмотреть их все, - в том случае, если мы сами уподобимся компьютеру и будем работать с постоянной скоростью 24 часа в сутки.
• При таких количествах повторяющиеся файлы неизбежны, но мы не сможем удалить дубликаты без того, чтобы проверить каждый из них и составить что-то вроде списка, - а это займет гораздо больше двух недель... Или всё-таки сможем?

Music Duplicate Remover сравнит звуковые файлы по звуку или по ID3 тэгам и параметрам. В отличие от человека, программа может обработать десятки тысяч файлов за считанные минуты (скорость зависит от возможностей вашей системы). Найденные дубликаты файлов будут сгруппированы в списке.

Теперь мы можем удалить дубликаты одним-единственным кликом. Но есть также другие варианты.

Прежде всего, можно переместить дубликаты файлов в некую специальную папку. Таким образом вы можете подождать несколько дней, прежде чем примете окончательное решение об удалении дубликатов.

Второе, давайте взглянем на вкладку "Опции группировки ". На ней предлагаются несколько простых правил, которые могут значительно облегчить работу с программой.

Вы предпочитаете MP3, OGG Vorbis, или WMA? APE, FLAC, или MPC? Переместите форматы аудио вверх или вниз списка, чтобы обозначить их приоритет. Music Duplicate Remover отыщет дубликаты файлов в соответствии с этим списком. Если вы поместите MP3 на самый верх списка, программа отметит к удалению дубликаты в любом другом формате и сохранит по крайней мере одну копию файла в MP3. Если же оригинал файла в MP3 отсутствует, программа возьмет следующий по важности формат.

Аналогично вы можете выбрать, следует ли удалять дубликаты с большим битрейтом, или с меньшим.

Третий вариант группировки позволит вам указать важные и менее важные папки. Файлы в важных папках будут считаться оригиналами, а их копии в менее важных папках программа пометит как дубликаты. Даже если Music Duplicate Remover найдет несколько дубликатов одного и того же файла в важных папках, он покажет эти файлы в результатах поиска, но не отметит их для удаления. Если необходимо, вы сможете отметить их вручную.

Двойной клик на файле из списка запустит его проигрывание во встроенном или во внешнем плеере (в качестве внешнего плеера будет использоваться плеер по умолчанию, установленный для данного формата в вашей системе).

Избавьтесь от ненужных копий файлов с помощью программы удаления дубликатов от ManiacTools!

Основные функции Music Duplicate Remover:

• Поиск дубликатов файлов по звуку . Программа может "прослушивать" файлы и находить дубликаты.
• Найдите дубликаты по ID3-тэгам и параметрам.
• Настройте поиск дубликатов в соответствии с реалиями вашей коллекции, чтобы получать более точные результаты.
• Прослушивайте дубликаты файлов во