一区二区三区在线-一区二区三区亚洲视频-一区二区三区亚洲-一区二区三区午夜-一区二区三区四区在线视频-一区二区三区四区在线免费观看

服務器之家:專注于服務器技術及軟件下載分享
分類導航

Linux|Centos|Ubuntu|系統(tǒng)進程|Fedora|注冊表|Bios|Solaris|Windows7|Windows10|Windows11|windows server|

服務器之家 - 服務器系統(tǒng) - Linux - Linux怎么查找重復文件?

Linux怎么查找重復文件?

2021-09-15 01:06良許Linux Linux

本部分算是對find強大功能的擴展使用方法說明。在find的基礎上,我們可與(如xargs命令)等其它基本Linux命令相結合,即能創(chuàng)造出無限的命令行功能。

Linux怎么查找重復文件?

 方法一:使用Find命令

本部分算是對find強大功能的擴展使用方法說明。在find的基礎上,我們可與(如xargs命令)等其它基本Linux命令相結合,即能創(chuàng)造出無限的命令行功能,比如:可以快速查找出Linux某個文件夾及其子文件夾中的重復文件列表。要實現(xiàn)這個功能在流程上是比較簡單的,只要查找遍歷出所有文件,再通過命令去比較每個文件的MD5就OK啦。

聽起來好像比較抽象,其實命令就一條:

  1. find -not -empty -type f -printf "%s\n" | sort -rn | uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate 
  •  find -not -empty -type f -printf “%sn” 表示使用find命令搜索出所有非空文件,再打印出他們的大小
  •  sort -rn 命令不用多說了把,這條命令就是按文件大小進行反向排序
  • uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 表示只打印了重復的行,這里使用代表打印出文件名相同的文件
  •  uniq -w32 –all-repeated=separate 最后這里表示對MD5的前32個字節(jié)進行對比,以篩選出重復文件 使用命令行的整個過程就是這么簡單和容易。

方法二:使用dupeGuru工具

DupeGuru是一個跨平臺應用,有Linux、Windows和Mac OS X版本,它可以通過文件大小、MD5和文件名等多種標準來幫助用戶找出Linux中的重復文件。Ubuntu用戶可以直接通過添加如下PPA源來方式來進行安裝:

  1. sudo add-apt-repository ppa:hsoft/ppa  
  2. sudo apt-get update  
  3. sudo apt-get install dupeguru* 

方法三:使用Find命令解析

在工作生活當中,我們很可能會遇到查找重復文件的問題。比如從某游戲提取的游戲文本有重復的,我們希望找出所有重復的文本,讓翻譯只翻譯其中一份,而其他的直接替換。那么這個問題該怎么做呢?當然方法多種多樣,而且無論那種方法應該都不會太難,但筆者第一次遇到這個問題的時候第一反應是是用Linux的Shell腳本,所以文本介紹這種方式。

先上代碼:

  1. find -not -empty -type f -printf "%sn" | sort -rn |uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate | cut -b 36- 

大家先cd到自己想要查找重復文件的文件夾,然后copy上面代碼就可以了,系統(tǒng)會對當前文件夾及子文件夾內的所有文件進行查重。

下面分析一下上面的命令。

首先看第一句:

  1. find -not -empty -type f -printf "%sn" 

find是查找命令;-not -empty是要尋找非空文件;-type f是指尋找常規(guī)文件;-printf “%sn”比較具有迷惑性,這里的%s并非C語言中的輸出字符串,它實際表示的是文件的大小,單位為bytes(不懂就man,man一下find,就可以看到了),n是換行符。所以這句話的意思是輸出所有非空文件的大小。

通過管道,上面的結果被傳到第二句:

  1. sort -rn 

sort是排序,-n是指按大小排序,-r是指從大到小排序(逆序reverse)。

第三句:

  1. uniq -d 

uniq是把重復的只輸出一次,而-d指只輸出重復的部分(如9出現(xiàn)了5次,那么就輸出1個9,而2只出現(xiàn)了1次,并非重復出現(xiàn)的數字,故不輸出)。

第四句:

  1. xargs -I{} -n1 find -type f -size {}c -print0 

這一部分分兩部分看,第一部分是xargs -I{} -n1,xargs命令將之前的結果轉化為參數,供后面的find調用,其中-I{}是指把參數寫成{},而-n1是指將之前的結果一個一個輸入給下一個命令(-n8就是8個8個輸入給下一句,不寫-n就是把之前的結果一股腦的給下一句)。后半部分是find -type f -size {}c -print0,find指令我們前面見過,-size{}是指找出大小為{}bytes的文件,而-print0則是為了防止文件名里帶空格而寫的參數。

第五句:

  1. xargs -0 md5sum 

xargs我們之前說過,是將前面的結果轉化為輸入,那么這個-0又是什么意思?man一下xargs,我們看到-0表示讀取參數的時候以null為分隔符讀取,這也不難理解,畢竟null的二進制表示就是00。后面的md5sum是指計算輸入的md5值。

第六句:sort是排序,這個我們前面也見過。

第七句:

  1. uniq -w32 --all-repeated=separate 

uniq -w32是指尋找前32個字符相同的行,原因在于md5值一定是32位的,而后面的--all-repeated=separate是指將重復的部分放在一類,分類輸出。

第八句:

  1. cut -b 36- 

由于我們的結果帶著md5值,不是很好看,所以我們截取md5值后面的部分,cut是文本處理函數,這里-b 36-是指只要每行36個字符之后的部分。

我們將上述每個命令用管道鏈接起來,存入result.txt:

  1. find -not -empty -type f -printf "%sn" | sort -rn |uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 --all-repeated=separate | cut -b 36- >result.txt 

雖然結果很好看,但是有一個問題,這是在Linux下很好看,實際上如果有朋友把輸出文件放到Windows上,就會發(fā)現(xiàn)換行全沒了,這是由于Linux下的換行是n,而windows要求nr,為了解決這個問題,我們最后執(zhí)行一條指令,將n轉換為nr:

  1. cat result.txt | cut -c 36- | tr -s 'n' 

原文鏈接:https://mp.weixin.qq.com/s/I5hzdOYYf9GKjLal2Ras8w

延伸 · 閱讀

精彩推薦
主站蜘蛛池模板: 亚洲小视频 | 国产码一区二区三区 | 99久久www免费 | 日韩国产欧美成人一区二区影院 | 91高清国产经典在线观看 | 耽美调教高h| 隔壁老王国产在线精品 | 国产视频一区 | 国产人人草 | 1024在线视频精品免费 | 香港日本三级亚洲三级 | 果冻传媒在线完整免费观 | av在线亚洲男人的天堂 | 逼逼日| 三级全黄的视频 | 国产免费美女视频 | 欧美一级h | 女性性色生活片免费观看 | 国产成人精品s8sp视频 | www.大逼色 | ai换脸造梦jennie| 深夜在线观看 | 热99re国产久热在线 | 国产精品免费久久久久影院 | 91在线精品老司机免费播放 | 午夜十八岁禁 | 四虎成人免费视频 | 红色一片在线影视 | 麻豆网站视频国产在线观看 | 国产一区精品视频 | 国产欧美精品一区二区三区–老狼 | 和岳m的小说 | 2019午夜福合集高清完整版 | 国产精品亚洲片夜色在线 | 国产一级黄色网 | 国产一区精品视频 | 我把校花黑色蕾丝胸罩脱了 | 大学生按摩黄a级中文片 | 高中生喷水喷浆 | 免费看一级a一片毛片 | aⅴ天堂小视频 |