波士頓1956年，布麗安娜已經上小學了，滿腦子都是美國文化，身上都是美國元素。克萊爾同樣適應了美國的生活方式，只有弗蘭克仍堅持著英國的傳統。兩年后，克萊爾通過自己的努力，從哈佛醫學院畢業。黑人喬也跟她同屆畢業，拿到了畢業證。克萊爾在家中舉行小型酒會，打算酒會后大家就去餐廳盡興。弗蘭克借口與同事有約無法前往，但因為他記錯了時間，同事提前上門。克萊爾開門看見一位漂亮的女士站在門前，對方見到克萊爾顯然有些意外，再看看她與弗蘭克尷尬的表情，克萊爾已經能明白幾分。克萊爾強裝笑臉，招呼大家前往餐廳用餐，不想深究弗蘭克與他同事之間的事情。

到了晚上，布麗安娜睡著后，弗蘭克才醉醺醺的回家。克萊爾非常生氣，雖然她和弗蘭克的婚姻名存實亡，兩人早就約定各自生活。但弗蘭克在她的畢業禮上讓情人到家里，在場的還有同學和新同事，實在是太過分。克萊爾不想再這么裝下去，與其相互傷害，不如盡早離婚。但弗蘭克沒有同意，他不愿離開布麗安娜。

貌合神離的婚姻一直延續著，布麗安娜高中畢業，克萊爾和弗蘭克也不禁兩鬢斑白。此時弗蘭克才提出離婚，因為他相信已成年布里安娜會選擇隨他一起去英格蘭的劍橋大學，而不是與整日忙于工作很少回家的克萊爾生活。克萊爾這才明白，弗蘭克一直就是在等待這個機會，把布麗安娜從她身邊奪走，懲罰她對婚姻的背叛。弗蘭克從一開始就知道，布麗安娜的存在，讓克萊爾永遠無法忘記杰米。那頭紅發、臉龐，無時無刻不在提醒著克萊爾。讓布麗安娜離開，就相當于切斷了杰米與克萊爾之間的聯系。可是造化弄人，再周全的計劃也抵擋不住命運的安排。一場車禍讓弗蘭克永遠留在了美國的土地上，一段婚姻埋葬在了墓碑之下。

1755年，被關在阿德思穆爾監獄的杰米已入獄三年，和其他詹姆斯二世黨關在一起。國王已經下令，對這些反叛國家的人不再實施絞刑，而是終身監禁。其他人可以在監獄放風區自由走動，只有杰米。因為他的名聲太大，所以監獄看守他的身上加了副鐐銬。正是因為起義期間的名氣，使得杰米仍有巨大的號召力。為了讓他配合，前監獄長每周都要請他共進晚餐，希望能維持監獄內的安定。不過新任獄長似乎對杰米并不感興趣，更不想跟杰米一起用餐。杰米遠遠看了新獄長一眼，只覺得眼熟，卻想不起在哪見過。新獄長則清清楚楚的記得杰米，記得他在十年前曾饒過自己一命。

約翰·格雷少校被任命為監獄的新獄長，在提審杰米時，他報出了自己的姓名，杰米卻沒有任何反應。其實杰米還記得他，一個曾想行刺的小兵。也是因為他，杰米才能從克羅登之戰后茍活至今。

在這里盛行著一個傳說，詹姆斯二世黨起義期間，法國國王用于資助起義的黃金被起義軍埋在了某個地方。每一任獄長都被這個傳說吸引，試圖找到黃金獻給喬治二世國王，可往往都是無果而終。最近，監獄看守在運送物質時發現一個名叫鄧肯·克爾的人在沼澤附近游蕩。此人身染重病，嘴里還含含糊糊不停的嘟囔著被詛咒的黃金。約翰獄長對此事很重視，只不過鄧肯已病入膏肓，所說的話夾雜著英語、法語和蘇格蘭方言蓋爾語，因此約翰想請杰米翻譯鄧肯所說的內容。

在得到保證詳盡翻譯并保守秘密后，約翰下令除掉杰米身上的鐐銬。杰米也提出自己的條件，為每一位生病的囚犯提供藥品和毯子。這個要求超出了約翰的能力范圍，有些強人所難。杰米只好退而求其次，給克羅登之戰后在獄中茍延殘喘的穆塔夫一些必要的治療。

在鄧肯彌留之際，說著一些毫無條理的話。里面提到了麥肯齊家族的艾倫·麥肯齊取了海豹女，還提到了白女巫。杰米記得自己曾為了保護克萊爾，對外宣傳克萊爾是“白夫人”。鄧肯口中所說的白女巫是不是克萊爾，沒人知道。鄧肯斷斷續續的說出白女巫會來尋找杰米后，就咽下了最后一口氣。這些鬼話當然不會讓獄長約翰滿意，杰米卻時刻琢磨著其中的含義。他不知道克萊爾與黃金有什么關系，更不愿意克萊爾回來。

約翰仍不死心，總覺得杰米隱瞞了什么。他改變主意，請杰米共進晚餐以緩解之間的關系。杰米利用這個機會，請求監獄看守能允許犯人在挖煤場的附近布置陷阱并準許保留捕獲的獵物，另外再采摘一些水菠菜。吃綠葉菜可以預防壞血病，這是克萊爾教給杰米的。約翰并沒有馬上同意，但能坐在一起共享美味的山雞，已是個不錯的開始。

約翰同意了杰米的要求，犯人可以布置陷阱以改善惡劣的監獄伙食。但這只是杰米的幌子，在其他犯人檢查陷阱為抓到一只兔子大呼小叫吸引注意力時，杰米跳進邊上事先挖好的土坑，越獄出逃。獄長約翰派出大部分兵力在外圍搜索，杰米卻偷偷潛回監獄，挾持了約翰。杰米記得十年前，年青的約翰曾發誓在還清榮譽之債后就殺了杰米。如果約翰執意要通緝抓捕杰米，不如現在就讓約翰履行曾經的誓言。杰米丟下繳來的長劍，單膝跪地準備引頸受戮。這是一場用生命做賭注的豪賭，杰米幸運的贏到了最后。約翰心地善良，否則當年也不會為了救克萊爾，向叛軍指揮官杰米透露機密軍事情報。在兩人徹底解除心中的芥蒂后，杰米坦承相告，根本就沒有什么法國國王的黃金，只有一塊寶石而已。寶石就在杰米的手里，本想越獄后能有所幫助。可現在杰米不想因自己的行為連累其他人，把寶石交給約翰，老老實實和穆塔夫一起呆在監獄里。約翰也為穆塔夫專門找來了醫生，讓穆塔夫慢慢恢復健康。

平時約翰還跟杰米下下棋，杰米在法國時經常讓財政大臣推子認輸，可卻下不過約翰。兩人幾乎到了無話不談的地步，談起克羅登之戰，記憶猶新。杰米當時并不感激約翰的哥哥放過他，那么多至親好友死在了戰場上，杰米本就不愿獨活。說起這個，約翰深有感觸，因為他也有一個至交死于克羅登。兩人有時還會說到克萊爾，知道自己以前被愚弄后，約翰也只是淡然一笑。

幾年后，監獄被關閉，改為由騎兵駐守的要塞。其他犯人被看守押解著乘船前往殖民地，只有杰米被約翰單獨帶走。三天里，長途跋涉，走過沼澤穿過樹林。被派往殖民地的囚徒將在十四年后獲得自由，而杰米是被國王定罪囚禁的叛國者，必須由皇室批準才能得到減刑。國王陛下并沒有這個想法，約翰能做到的只有把杰米送到赫爾沃特城堡，服侍鄧薩尼大人。鄧薩尼極其厭惡查爾斯·斯圖爾特及其黨羽，所以約翰建議杰米不要使用本名。此后的命運，將由杰米自己把握。