文件分割與合并是一個常見需求,比如:上傳大文件時,可以先分割成小塊,傳到服務器后,再進行合并。很多高大上的分布式文件系統(比如:google的gfs、taobao的tfs)里,也是按block為單位,對文件進行分割或合并。
看下基本思路:
如果有一個大文件,指定分割大小后(比如:按1m切割)
step 1:
先根據原始文件大小、分割大小,算出最終分割的小文件數n
step 2:
在磁盤上創建這n個小文件
step 3:
開多個線程(線程數=分割文件數),每個線程里,利用randomaccessfile的seek功能,將讀取指針定位到原文件里每一段的段首位置,然后向后讀取指定大小(即:分割塊大小),最終寫入對應的分割文件,因為多線程并行處理,各寫各的小文件,速度相對還是比較快的。
下面代碼是將一個文件拆分為多個子文件,每個大小是100k
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
|
package testio; import java.io.file; import java.io.fileinputstream; import java.io.fileoutputstream; import java.util.arrays; public class substream { public static void main(string[] args) { //先將源文件讀取到內存中 int eachsize= 100 * 1024 ; file srcfile = new file( "f:/test/test.txt" ); //創建一個文件對象 splitfile(srcfile,eachsize); } public static void splitfile(file srcfile, int eachsize){ //判斷文件是否符合拆分要求 if (srcfile.length()== 0 ){ throw new runtimeexception( "文件不符合拆分要求" ); } byte [] filecontent= new byte [( int ) srcfile.length()]; try { //將文件內容讀取到內存中 fileinputstream fis= new fileinputstream(srcfile); fis.read(filecontent); fis.close(); } catch (exception e) { e.printstacktrace(); } //計算要次要拆分為多少份 int filenumber; if (filecontent.length%eachsize== 0 ){ filenumber = filecontent.length/eachsize; } else { filenumber = filecontent.length/eachsize+ 1 ; } for ( int i= 0 ;i<filenumber;i++){ string filename = srcfile.getname()+ "-" +i+ ".txt" ; file fi = new file(srcfile.getparent(), filename); //在當前文件路徑下創建拆分的文件 byte [] eachcontent; //將源文件內容復制到拆分的文件中 if (i!=filenumber- 1 ){ eachcontent = arrays.copyofrange(filecontent, eachsize*i, eachsize*(i+ 1 )); } else { eachcontent = arrays.copyofrange(filecontent, eachsize*i, filecontent.length); } try { fileoutputstream fos = new fileoutputstream(fi); fos.write(eachcontent); fos.close(); system.out.printf( "輸出子文件 %s,其大小是 %d,每個的大小是%d\n" ,fi.getabsolutefile(),fi.length(),eachcontent.length); } catch (exception e) { // todo: handle exception e.printstacktrace(); } } } } |
總結
以上就是本文關于java io流將一個文件拆分為多個子文件代碼示例的全部內容,希望對大家有所幫助。感興趣的朋友可以繼續參閱本站其他相關專題,如有不足之處,歡迎留言指出。感謝朋友們對本站的支持!
原文鏈接:http://blog.csdn.net/sinat_15274667/article/details/53982986