ermig1979 / antidupl Goto Github PK

Ever since the updates for spectre/meltdown i have been having problems with hyperthreading. At the moment AntiDupl gives me no trouble only if i set it to run with 1 processor per core.

I'm running it like this:

C:\Windows\System32\cmd.exe /C start "" /affinity 0x55 "D:\Documents\Duplicate Finders\AntiDupl.NET\AntiDupl.NET.exe"

If i run it normally it locks my computer very often, problem is that if i run it like this i end up taking more than 24 hours to check only 250'000 pictures, while before it took only 8 hours and i could run it at night.

Translation via Google Translate:

С тех пор, как обновления для specter/meltdown у меня возникли проблемы с функцией hyperthreading. На данный момент AntiDupl не дает мне никаких проблем, только если я запустил его для работы с 1 процессором на ядро.

Я запускаю его так:

C:\Windows\System32\cmd.exe /C start "" /affinity 0x55 "D:\Documents\Duplicate Finders\AntiDupl.NET\AntiDupl.NET.exe"

Если я запускаю его обычно, он очень часто блокирует мой компьютер, проблема в том, что если я запускаю его таким образом, он забирает более 24 часов, чтобы проверять только 250'000 изображений, а до того, как потребовалось всего 8 часов, и я мог запускать его во время ночь.

"Refresh results" after that "Remove Empty Folders"

горизонтальные картинки с вертикальным списком с объединением и центровкой по вертикали одинаковых ячеек - для длинных имен и путей

Is it possible to implement an export report about results?P
It may be in xml or csv.

thank you

After having run AntiDupl the lsit appears with a "hint" column.

In some of the "hint" cells a tiny thumbnail appears in other not.

Why?

When I hover over the thumbnail it tells me something about "delete first picture".

Ok, and what if I want to delte the second (lower) picture?

Wouldn't it be more intuitive to have a"delete "icon right of each picture with a label/meaning:
Delete image right?

What means the red-white hand "Mark as misktake"?

Does it mean the found group of picture is NOT similar?

Thank you

Migrating to other cross-platform GUI framework.

Occasionally AntiDupl crashes on my 64bit Win 7 system

How can I find out the reason?

Is there an crash event log where the reason is noted?

Hello everyone

first I received the rss feeds from sourceforge.net

now the project has been moved here

I tried with this address but it does not work

https://github.com/ermig1979/AntiDupl/releases.atom

Assume I setup 2 search paths and 2 ignore pathes.
Furthermore I removed the initail search path = AntiDupl installation folder

I click "ok" button and exit AntiDupl.

When I restart AntiDupl again the previously entered pathes are gone and the initial pathes (=installation folder) is listed.

How can I tell AntiDupl to remember these pathes?

The same happens with other values like Minimal+Maximal image width+height

Ben

The main window of the program will pop up (grab focus) when job (for example, find duplicates) is completed, which is not very friendly for long time job and continue to work on this computer, it may break demonstrate and expose privacy.
So I want to options for window pop up, bubbles (tray notification) or quiet on completion.

OS: Win10
Ver: AntiDupl.NET-2.3.8
Frequency of occurrence：Occasionally
Cause: Double click "Options" , Then do not make any settings , Click "ok" to quit "Options", Again Click "Start search" , "view mode" An exception will occur

Details of the accompanying drawings
Abnormal:

Correct:

I have been running this great software as 1080p (200% scaling factor on 4K monitor) forever.
I hope it can support high dpi scaling as there are more devices offer higher pixel density displays.

"-i - -i c:\path1 -i d:\path2 -x d:\path2\something" - игнорировать пути из настроек и искать в c:\path1 и d:\path2 с игнорированием d:\path2\something

Необходимо чтоб софт не подъедал все фото. Задача есть 2 папки в 1ой папке новые фото которыми нужно заместить все остальные фото из 2й папки. Во 2ой папке множество подпапок, в которой хаотично разбросаны повторяющиеся изображения, большое количество . Изображения перезаписываем новым содержимым из 1ой папки, сохраняя наименование и их местонахождение. (Это Выгрузка CommercML) Это возможно?

I think AntiDupl is almost the perfect tool for image duplicates; let me say that it's the best, but still not perfect for me. It lacks one single feature that I'm politely requesting, in hopes that it'll be implemented soon due to its potential usefulness.

First let me clarify that I work with large image collections where often there is more than one version of the same image, with small differences that aren't always visible to the naked eye. Hence I have to check visually certain images even with the large amount of information that AntiDupl gives about each duplicate pair. However visually comparing some images side to side is like playing one of those 'find the differences' games in ultra-hard mode.

To solve this problem, there's one method. It's just superimposing one of the image duplicates over the other. Ideally, there would be 2 keys attached to this function; one would scale and put the 2nd image over the 1st, and the other would scale and put the 1st image over the 2nd. It would act when pressed, and pressing the same key again will remove the overlayed image. Toggling the images in the same place and with the same scale will show instantly subtle differences that the difference detector (which is useful) can't display properly.

Watching nearly identical images side to side doesn't readily show what the differences are, even if the difference detector is showing that in a certain place there's a difference. Sometimes it's a small change in brightness, or colour, or JPEG artifacts. Toggling the duplicate over the image repeatedly shows where the differences are as blinks, and allows you to refine the selection of which image to check.

Actually this is the only thing I miss from VisiPics, where I could do the same easily. Currently when I have more than a dozen of duplicates, what I have to do to achieve the same is copying the examined folder, use AntiDupl to delete all duplicates in the original folder, then delete all file duplicates in the copied folder (compared to the original folder) so I have a tree with just the duplicates detected by AntiDupl, and then I manually check everything with a viewer that allows me to put duplicates side to side and toggle between them quickly and seamlessly (XnViewMP is what I use).

Another way to implement this would be just swapping the duplicates between the 1st and 2nd window. No file renaming or action involved; just that 1st duplicate is shown on 2nd window, and 2nd duplicate is shown on 1st. This wouldn't work if in options you're not scaling both images to the viewport size, but might be way easier to implement.

Thanks for considering my feature request, and ofc for this awesome program.

When I run AntiDupl on my collection of images, a large part gets labeled 'Error'. I believe there is nothing wrong with my images, since they display perfectly fine in Windows Photo Viewer, IrfanView, Adobe Photoshop, and even in AntiDupl itself. I see no obvious patterns: there are images from different camera's, either straight out of camera / phone or processed in software.
Could this simply be due to a outdated version of OpenJPEG (version 1.5.0 dates back to 16 June 2015)?

Screenshot:

Sample images to test (these all give 'Error' for me):
https://filebin.net/drsv5y6137jx502g

Добрый день!

Большое спасибо Вам за отличную программу AntiDupl!

Я коллекционирую обои с девушками (приличными) и набрал их около 100 тыс.
Много лет назад я проводил сравнение разных программ для поиска дублей и Ваша программа оказалась лучшей.
С тех пор пользуюсь только ей. Сейчас стоит AntiDupl.NET-2.3.9.
Дубли постоянно проверяю по обоим алгоритмам, по среднеквадратичному в диапазоне 5-10%, по SSIM 20-24%.
Но недавно проверил свою коллекцию у приятеля, он на Ubuntu использует для своих проверок на дубли программу findimagedupes.
И оказалось, что в моей коллекции нашлось более 4000 невыловленных дублей.
При исследовании оказалось, что не ловятся картинки, которые отличаются тем, что у них обрезан верх и низ.
Проверял в AntiDupl.NET при максимальных настройках обоих алгоритмов (по среднеквадратичному 15%, по SSIM 50%).
Для демонстрации прилагаю несколько картинок.

Если Вы собираетесь и дальше совершенствовать свою отличную программу, то предлагаю как-то учесть эту ситуацию.
Например, к уже существующим двум алгоритмам добавить третий, как их ищет findimagedupes или каким-то другим, удобным Вам способом.

Если интересно, то их алгоритм в мануале изложен так:
findimagedupes compares a list of files for visual similarity.
To calculate an image fingerprint:

1. Read image.
2. Resample to 160x160 to standardize size.
3. Grayscale by reducing saturation.
4. Blur a lot to get rid of noise.
5. Normalize to spread out intensity as much as possible.
6. Equalize to make image as contrasty as possible.
7. Resample again down to 16x16.
8. Reduce to 1bpp.
9. The fingerprint is this raw image data.
   To compare two images for similarity:
10. Take fingerprint pairs and xor them.
11. Compute the percentage of 1 bits in the result.
12. If percentage exceeds threshold, declare files to be similar.
    Я в этом не очень разбираюсь, но Вам может что и подскажет.

С уважением,
Ваш преданный пользователь

P.S. Извините за многословность

Уважаемый автор. Если есть возможность, добавь пожалуйста альтернативные источники для скачивания. С территории Крыма нет возможности скачивать с сайта sourceforge.net, наложены санкции.

Добрый день, я составляю себе обои на рабочий стол и когда количество картинок перевалило за 300 зная точно как минимум об одной паре картинок задался вопросом удаления пар и воспользовался вашей программой, найдя в пачке 8 совпадений именно ту пару о которой я точно знал прога не нашла, идентичное изображение и минимальные отличия по длине и высоте 1920х1080 и 1920х1200, приложил обе картинки. Предупреждаю что они правда эротического характера. Версия программы 2.3.9
Новая папка.zip

Hi,
first: thank you for this wonderful and simple software! Awesome and very helpful.
I'd have one suggestion though: it would be very useful to have a 'preferred folder' - so that when it looks up files from a number of folders, I could set a preferred folder so the other folder would be preferred to get deleted in case the files are 100% identical.
A very specific case of mine:
I have a NAS where I'm storing my photos from my cameras, but also from my and my wife's phone. I get those pics downloaded from online repositories (iCould and GDrive) every now and then then I import them. The problem is, I have my system of naming my imported files so sometimes I have duplicates (original name VS renamed file). Now, I download files and want to import them but Lightroom doesn't differentiate between two files of different names but same image data. SO this preferred folder would be set to my NAS imported folder so when I compare the files already imported and the one to be imported, the program would automatically mark the file to be deleted saying "hey man, you already have this in your PREFERRED FOLDER, you can delete it.
Does it make any sense?
Thanks :)

Advantage：Commonly used, search results can be improved

Such as network location (like an FTP server) and MTP/PTP drives (via Android USB share), allow them to be added through the Paths dialog to retrieve and clean image files on the device.

При сканировании картинок программа дважды завершила свою работу с ошибкой. В чем может быть проблема?

[Enhancements] Suggest: "Tool bar" or "Options" Add an a option “Delete the search results when exiting” ( \user\profiles\default.adr)

Advantage：1、Increase the start speed
2、Privacy demand（When the program starts, the default is to open the previous search result. I hope I can customize whether I choose to open it or not.）

Доброго времени суток. Подскажите пожалуйста, какие наиболее оптимальные настройки использовать для поиска дубликатов? Имеется база в ~80 тысяч фотографий и там по 3-4 дубликата, хотелось бы всё это в порядок привести, но в программе очень много настроек и не пойму как лучше её настроить.

За помощь готов материально отблагодарить.

Hello Ihar Yermalayeu,

thank you for AntiDupl. It's really well done and might even become my favorite image duplicate finder. And I've tried quite a bit. So, thanks again.

Here is my request: I would like to have an additional column that shows the date a picture has been taken. This would help me to speed up my decision process, in cases, where I have identical pictures, in different folders (year-month-day title/name), where the date the image has been taken is the most promising infromation I can use to confirm my decision.

Thanks a lot
Jan

http://www.openjpeg.org/ Latest release (v2.3.0). Faster OpenJPEG is on track.
http://ermig1979.github.io/Simd/download.html. http://ermig1979.github.io/Simd/2018.html.

data\resources\strings is deprecated? I see the translations is removed from 36db3e3 even they are still available.

1. Подсказки : Режим 'Algo' вообще не работает, если есть настройки - я их не нашел. Режим 'Neural Network' работает не консистентно, как его тренировать ? Вобщем по сути подсказок нет, все в ручную.

Предлагаю всем тем параметрам которые отображаются по файлам (разрешение, блочность, размытие) выставлять конфигурируемый вес и вычислять рейтинг, по нему уже расставлять подсказки.

Веса для исключения ситуации когда файл с немного большим разрешением но сильно большей блочностью заменит файл с более низким разрешением но гораздо меньшей блочностью. Конечно это потребует тонкой настройки но это лучше чем 'черный ящик' что сейчас, да и можно в случае чего обойтись простым отсеиванием по разрешению.

2. Нужна опция ограничения количества совпадений по одной картинке. С автоматическим отсеиванием пар с худшей апертурой (тоесть оставить только N пар с наилучшей апертурой). Поможет отсеить ложные срабатывания при высоких значениях апертуры в ситуациях когда точно ясно что больше какого-то количества пар совпадений по одной картинке быть не может.

3. Нужна колонка для сравнения соотношения сторон, алгоритм это умеет вроде-бы но мы это значение не видим.

4. Опция для ограничения сравнения только внутри подкаталогов.

Вообще действие этих двух галочек сейчас не очевидно. Вместо них нужен один раскрывающийся список с 4 вариантами : Сравнивать всё \ Сравнивать только внутри подкаталогов \ Сравнивать только между подкаталогами \ Сравнивать только между путями

5. Нужно ручное переназначение подсказки и указание действия для авто-режима.

6. Дополнительное действие : переименование по шаблону и\или перемещение в указанную папку (с сохранением структуры и нет).

В остальном все хорошо, работает быстрее аналогов, особенно на очень большой выборке.

хотя бы в исключениях: "*\dontlook*"

Падает программа после нажатия на кнопку start search.

В папке, в которой производится поиск, должна быть хоть одна картинка (проверял png, jpg, gif). Если в папке нет картинок, то программа не падает.

Замусоренная Windows 8.1 x64
Только что скаченная AntiDupl.NET-2.3.9
Версия 2.3.8 работает без проблем.
Наверное, что-то в моей системе, но я даже не представляю куда смотреть.

Медленно рисует картинки, особенно если включить подсветку различий и соседей - просто в списке зажать стрелку вниз.
Это из-за gdiplus.dll? Немного погуглил - советуют PixelFormat32bppPARGB:
https://www.codeproject.com/Tips/66909/Rendering-fast-with-GDI-What-to-do-and-what-not-to
https://stackoverflow.com/questions/264720/gdi-graphicsdrawimage-really-slow
https://www.gamedev.net/forums/topic/467752-maximizing-gdi-speed/
https://stackoverflow.com/questions/1690422/gdi-performance-tricks

IrfanView использует libjpeg-turbo - вполне шустренько: https://libjpeg-turbo.org/About/Performance

Hello, I've been using AntiDupl for many years so I'm pretty familiar with its functionality. However, I have not been able to use the most recent version, 2.3.9, because it always crashes as soon as I press the 'Start Search' button; I am able to use version 2.3.8.200 with no problems. I have tried closing my anti-malware program (Malwarebytes) and have made exceptions for Windows Defender in case one of those was preventing the search, but still no luck. I'm running AntiDupl on a Win10x64 machine. Any suggestions out there? Am I being an idiot and overlooking something obvious? Thanks in advance, Scott

I recently used a tool to download a directory from a gallery full of images. The problem is, the program downloaded thumbnails and smaller sizes as well indiscriminately.

The weird part is.. If I download by hand and save them to a specified directory. The files are detected properly as duplicated by antidupl.

But If I use this particular tool and directory.. the files are not detected as duplicated by antidupl.
Even if they are identically (the only difference being the different sizes)
The images seem to be identical size wise than the originals downloaded by the browser.

Any ideas what could cause this?

The files in question: http://www.mediafire.com/folder/inly3uda6jah4/publicstuff

Screenshot of the images:

https://prnt.sc/lwqk9s

Новая версия падает через пару секунд после запуска, даже не начав сканирование. Предыдущая версия программы «AntiDupl.NET-2.3.8» работала отлично (редко , правда падала на битых файлах).

When working with a large set of images, it is impossible to go through the images one by one and users must rely on the hints to do an automated delete.

In those cases, it is important that users can specify the preference of the "Delete Paths", so if the duplicates appear in both of the delete paths, the software knows which one to remove. Currently the "Delete Paths" does not keep the order.

Please see if it is an enhancement that can be added.

Great program. If only it were possible to increase the font size and row spacing in the results list.

Everything else is fine, the icons and buttons, the menu. The result list, however, just too tiny to read and use comfortably.

Like https://ermig1979.github.io/AntiDupl/data/help/english/index.html?page=options.html says "Check on blockiness" and "Check on bluring" is "By default, this option is enabled.", but in fact the opposite.

Куда поместить кнопки удаления, перемещения и т.д.?
Мои варианты:

• Оставить одну кнопку игнор. Все остальное в контекстном меню картинок и строки.
• Полноразмерную панель выше таблицы. Действия будут с выделенной строкой. Единственное, что не очень явно видно какая строка выделена.
• Дополнительный режим (вкладка), в которой таблица без картинок и две картинки, сверху и снизу с кнопками ( как в текущей версии).
  

This is my feeling, it seems to be significantly slower than ordinary moving files in Windows Explorer, about 15 files/s on 7200rpm HDD. Maybe it has performance bottlenecks and can be optimized through multithreading, big buffers, etc?

Guys please rewrote AntiDupl with NET 4.5-6-7 for more versatile isage. I can use it on ARM (WinRT and ARM64).

1.8.5 - запускается без тормозов: практически сразу появляется и исчезает about и появляется окно программы
2.0.0 - пауза ~4 секунды, затем мелькает about и появляется окно программы
2.3.5, 2.3.8, 2.3.9 - пауза ~6 секунд, пару секунд висит about и появляется окно программы

У 2.3.8 и 2.3.9 удалил AntiDupl64.dll - падение через 6 секунд: Прекращена работа программы "AntiDupl.NET"

W7U SP1 x64, проверку обновлений ADN отключил, все закэшированно, база картинок пустая, запуск от админа не влияет.
На XP SP3 с 2.3.5 таких тормозов не было

How do I find out the total of found images in search path?

The number of found duplictaes is written in the lower left bottom of the status bar.
But that number is not the total number.

Hi,
Thanks for the program but I have one question is it possible to disable all the images in search results with error-tag? I have thousands of them in a list and all of them are working fine and correct, don't know why software thinks they're broken
Thanks!

Приложение запускается в диспетчере задач и через секунду пропадает(закрывается). Что делать?

Установил новую версию AntiDupl на Win10/64
Открываю, добавляю паку для сканирования, сканирование завершается и выдает результаты.
Закрываю программу.
Открываю заново - все настройки сброшены на дефолтные: папка сканирования по умолчанию, результатов сканирования нет.

Пробовал на разных наборах данных.

Предыдущая версия работала нормально.

Just installed AntiDupl.NET 2.3.9 on fresh install of Windows 7 Ultimate 32 bit.
One the program starts to scan for images, it will crash.
Any thoughts as to why? I can not seem to get it to give me any debug info.