Fdupes é um utilitário Linux capaz de encontrar arquivos duplicados no conjunto de diretórios e subdiretórios. Fdupes reconhecer duplicatas através da comparação MD5 assinatura de arquivos seguido por um byte-to-byte comparação. Um monte de opções podem ser passadas com Fdupes para listar, excluir e substituir os arquivos com hardlinks para duplicatas.
Opções
-r - procura recursivamente
-S - mostra o tamanho de cada arquivo
-Sr - ambos juntos
-d - Para excluir os arquivos duplicados, preservando uma cópia, você pode usar a opção ‘-d’. Deve-se tomar cuidado ao usar esta opção, senão você pode acabar perdendo arquivos necessários ou dados , pois esse processo é irreversível.
-f - protege um arquivo , se eles estiverem nomeados como: nome, cópia, 2° cópia, 3° cópia,…
-h - ajuda
Você ainda pode salvar a saída num arquivo, pra conferir os arquivos duplicados, caso deseje:
E se quiser criar até um script depois para removê-los.
https://github.com/adrianlopezroche/fdupes