終于找到bug原因！記一下；還是不熟悉平臺(tái)的原因造成的！
Q：為什么會(huì)出現(xiàn)兩個(gè)模型對(duì)象在同一個(gè)文件中一起運(yùn)行，當(dāng)直接讀取他們分開(kāi)運(yùn)行時(shí)訓(xùn)練出來(lái)的模型會(huì)出錯(cuò)，而且總是有一個(gè)正確，一個(gè)讀取錯(cuò)誤？ 而 直接在同一個(gè)文件又訓(xùn)練又重新加載模型預(yù)測(cè)不出錯(cuò)，而且更詭異的是此時(shí)用分文件里的對(duì)象加載模型不會(huì)出錯(cuò)？
model.py,里面含有 ModelV 和 ModelP，另外還有 modelP.py 和 modelV.py 分別只含有 ModelP 和 ModeV 這兩個(gè)對(duì)象，先使用 modelP.py 和 modelV.py 分別訓(xùn)練好模型，然后再在 model.py 里加載進(jìn)來(lái)：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
|
# -*- coding: utf8 -*-import tensorflow as tfclass ModelV(): def __init__(self): self.v1 = tf.Variable(66, name="v1") self.v2 = tf.Variable(77, name="v2") self.save_path = "model_v/model.ckpt" self.init = tf.global_variables_initializer() self.saver = tf.train.Saver() self.sess = tf.Session() def train(self): self.sess.run(self.init) print 'v2', self.v2.eval(self.sess) self.saver.save(self.sess, self.save_path) print "ModelV saved." def predict(self): all_vars = tf.trainable_variables() for v in all_vars: print(v.name) self.saver.restore(self.sess, self.save_path) print "ModelV restored." print 'v2', self.v2.eval(self.sess) print '------------------------------------------------------------------'class ModelP(): def __init__(self): self.p1 = tf.Variable(88, name="p1") self.p2 = tf.Variable(99, name="p2") self.save_path = "model_p/model.ckpt" self.init = tf.global_variables_initializer() self.saver = tf.train.Saver() self.sess = tf.Session() def train(self): self.sess.run(self.init) print 'p2', self.p2.eval(self.sess) self.saver.save(self.sess, self.save_path) print "ModelP saved." def predict(self): all_vars = tf.trainable_variables() for v in all_vars: print v.name self.saver.restore(self.sess, self.save_path) print "ModelP restored." print 'p2', self.p2.eval(self.sess) print '---------------------------------------------------------------------'if __name__ == '__main__': v = ModelV() p = ModelP() v.predict() #v.train() p.predict() #p.train() |
這里 tf.global_variables_initializer() 很關(guān)鍵！ 盡管你是分別在對(duì)象 ModelP 和 ModelV 內(nèi)部分配和定義的 tf.Variable()，即 v1 v2 和 p1 p2，但是 對(duì) tf 這個(gè)模塊而言， 這些都是全局變量，可以通過(guò)以下代碼查看所有的變量，你就會(huì)發(fā)現(xiàn)同一個(gè)文件中同時(shí)運(yùn)行 ModelP 和 ModelV 在初始化之后都打印出了一樣的變量，這個(gè)是問(wèn)題的關(guān)鍵所在：
|
1
2
3
|
all_vars = tf.trainable_variables()for v in all_vars: print(v.name) |
錯(cuò)誤。你可以交換 modelP 和 modelV 初始化的順序，看看錯(cuò)誤信息的變化
|
1
2
3
4
5
6
7
8
9
10
11
12
|
v1:0v2:0p1:0p2:0ModelV restored.v2 77v1:0v2:0p1:0p2:0W tensorflow/core/framework/op_kernel.cc:975] Not found: Key v2 not found in checkpointW tensorflow/core/framework/op_kernel.cc:975] Not found: Key v1 not found in checkpoint |
實(shí)際上，分開(kāi)運(yùn)行時(shí)，模型保存的參數(shù)是正確的，因?yàn)樵谝粋€(gè)模型里的Variable就只有 v1 v2 或者 p1 p2; 但是在一個(gè)文件同時(shí)運(yùn)行的時(shí)候，模型參數(shù)實(shí)際上保存的是 v1 v2 p1 p2四個(gè)，因?yàn)樵谀J(rèn)情況下，創(chuàng)建的Saver，會(huì)直接保存所有的參數(shù)。而 Saver.restore() 又是默認(rèn)（無(wú)Variable參數(shù)列表時(shí)）按照已經(jīng)定義好的全局模型變量來(lái)加載對(duì)應(yīng)的參數(shù)值， 在進(jìn)行 ModelV.predict時(shí)，按照順序（從debug可以看出，應(yīng)該是按照參數(shù)順序一次檢測(cè)）在模型文件中查找相應(yīng)的 key，此時(shí)能夠找到對(duì)應(yīng)的v1 v2，加載成功，但是在 ModelP.predict時(shí)，在model_p的模型文件中找不到 v1 和 v2，只有 p1 和 p2， 此時(shí)就會(huì)報(bào)錯(cuò)；不過(guò)這里的 第一次加載 還有 p1 p2 找不到?jīng)]有報(bào)錯(cuò)，解釋不通， 未完待續(xù)
Saver.save() 和 Saver.restore() 是一對(duì)， 分別只保存和加載模型的參數(shù)， 但是模型的結(jié)構(gòu)怎么知道呢? 必須是你定義好了，而且要和保存的模型匹配才能加載；
如果想要在不定義模型的情況下直接加載出模型結(jié)構(gòu)和模型參數(shù)值，使用
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
# 加載 結(jié)構(gòu)，即 模型參數(shù) 變量等new_saver = tf.train.import_meta_graph("model_v/model.ckpt.meta")print "ModelV construct"all_vars = tf.trainable_variables()for v in all_vars: print v.name #print v.name,v.eval(self.sess) # v 都還未初始化，不能求值# 加載模型 參數(shù)變量 的 值new_saver.restore(self.sess, tf.train.latest_checkpoint('model_v/'))print "ModelV restored."all_vars = tf.trainable_variables()for v in all_vars: print v.name,v.eval(self.sess) |
加載 結(jié)構(gòu)，即 模型參數(shù) 變量等完成后，就會(huì)有變量了，但是不能訪問(wèn)他的值，因?yàn)檫€未賦值，然后再restore一次即可得到值了
那么上述錯(cuò)誤的解決方法就是這個(gè)改進(jìn)版本的model.py；其實(shí) tf.train.Saver 是可以帶參數(shù)的，他可以保存你想要保存的模型參數(shù)，如果不帶參數(shù)，很可能就會(huì)保存 tf.trainable_variables() 所有的variable，而 tf.trainable_variables()又是從 tf 全局得到的，因此只要在模型保存和加載時(shí)，構(gòu)造對(duì)應(yīng)的帶參數(shù)的tf.train.Saver即可，這樣就會(huì)保存和加載正確的模型了
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
|
# -*- coding: utf8 -*-import tensorflow as tfclass ModelV(): def __init__(self): self.v1 = tf.Variable(66, name="v1") self.v2 = tf.Variable(77, name="v2") self.save_path = "model_v/model.ckpt" self.init = tf.global_variables_initializer() self.sess = tf.Session() def train(self): saver = tf.train.Saver([self.v1, self.v2]) self.sess.run(self.init) print 'v2', self.v2.eval(self.sess) saver.save(self.sess, self.save_path) print "ModelV saved." def predict(self): saver = tf.train.Saver([self.v1, self.v2]) all_vars = tf.trainable_variables() for v in all_vars: print v.name v_vars = [v for v in all_vars if v.name == 'v1:0' or v.name == 'v2:0'] print "ModelV restored." saver.restore(self.sess, self.save_path) for v in v_vars: print v.name,v.eval(self.sess) print 'v2', self.v2.eval(self.sess) print '------------------------------------------------------------------'class ModelP(): def __init__(self): self.p1 = tf.Variable(88, name="p1") self.p2 = tf.Variable(99, name="p2") self.save_path = "model_p/model.ckpt" self.init = tf.global_variables_initializer() self.sess = tf.Session() def train(self): saver = tf.train.Saver([self.p1, self.p2]) self.sess.run(self.init) print 'p2', self.p2.eval(self.sess) saver.save(self.sess, self.save_path) print "ModelP saved." def predict(self): saver = tf.train.Saver([self.p1, self.p2]) all_vars = tf.trainable_variables() p_vars = [v for v in all_vars if v.name == 'p1:0' or v.name == 'p2:0'] for v in all_vars: print v.name #print v.name,v.eval(self.sess) saver.restore(self.sess, self.save_path) print "ModelP restored." for p in p_vars: print p.name,p.eval(self.sess) print 'p2', self.p2.eval(self.sess) print '----------------------------------------------------------'if __name__ == '__main__': v = ModelV() p = ModelP() v.predict() #v.train() p.predict() #p.train() |
小結(jié)： 構(gòu)造的Saver 最好帶Variable參數(shù)，這樣保證 保存和加載能夠正確執(zhí)行
以上這篇解決tensorflow模型參數(shù)保存和加載的問(wèn)題就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持服務(wù)器之家。
原文鏈接：https://blog.csdn.net/u014659656/article/details/53954793
