後來車馬店的生意越來越差，原因有多方面的。第一，車馬店的老闆內部出了問題。老闆的兒子也就是老許的小舅子娶了一個厲害老婆，這個少奶奶一進門就要奪權。老闆認為這個車馬店是自己的命根子，當然不願意這麼快就交給兒子媳婦管理。所以雙方為了經營權的事情，可以說是鬧得十分不愉快。
第二，是因為車馬店外來的影響。由於海上出現的海盜和倭寇越來越多，導致出海的生意越來越難做。一些生意人漸漸開始減少或者直截了當不幹了。生意少了來往的買賣人也少了，車馬店的生意就不可能一直好下去。生意難做導致一些生意不好的車馬店不是關張了就是改行了。
第三，車馬店的競爭太激烈。買賣人少了，車馬店的生意當然也收到了影響。本來已經供大於求的車馬店市場，因為這個原因只好加大服務力度，推出各種優惠才能招攬生意。老許家的車馬店雖然比較老資格，但是不是這裡的最大車馬店。其他車馬店不是改行了就是有了新的服務專案，當然也影響到了老許車馬店的生意。本來老許家的車馬店也可以推出新的服務專案，起碼和一些中檔的車馬店搶一些生意的。可是車馬店裡面的老闆和少奶奶打擂臺，失去了不少賺錢的機會。
就在老許猶豫要不要勸說老丈人和弟妹的時候，意外發生了。老許之所以不願意插手老闆和少奶奶的事情，因為這些人並沒有把老許真的當自己人。老闆只把老許當一個不要工錢的夥計，並沒有拿老許當自己的女婿。少奶奶更是不把老許夫妻當自己人，甚至於懷疑老許夫妻暗中支援公公和自己作對。為此老許無論是在前面的車馬店也好，還是在後面自己家裡也好，他都十分安分不插手不多話。就算這樣他也依然經常受夾板氣，兩頭都不討好。老許是在看不下去了，在這麼下去車馬店就會徹底垮了的。就在老許準備鼓起最大勇氣和自己老丈人說這件事情的時候，一場災難來了。
老許記得那是十七年前的那一天，老許剛起床準備和老丈人說車馬店的未來的事情的時候，他的弟妹也就是車馬店的少奶奶找上了老許。車馬店為了拉攏一些老客戶，所以總會允許一些老客戶賒欠一些款項的。可是自從少奶奶管賬之後，改了這條規矩，不允許新老客戶拖欠款項。為此已經得罪了一些客戶，導致一些客戶去了其他車馬店了。但是少奶奶還是不滿足，要求店裡的老夥計去客戶家裡催討款項。這一次少奶奶把追討款項的任務交給了老許，要求老許馬上去三十裡外馬家莊催債。少奶奶下了死命令，說老許要不回錢的話就不用回來了。為此老許只好去要債，而且不得不在外面過了一個晚上。
老許雖然沒有要回所有的欠款，但是也算要回來一些了，老許以為可以交代了所以就回來了。沒想到少奶奶大吵大鬧起來，說是老許私下剋扣了欠款，一定要老許交出來。老闆這個老丈人和老許的老婆本來可以幫老許說話的，可是他們父女並沒有幫老許說話。這就導致老許正面遭受少奶奶的炮火，逼得老實的老許發了火。這一發火不要緊，把老許徹底害慘了。老闆一家人不但沒有幫老許，而且把所有的責任都怪罪到了老許身上，老闆的兒子索性把老許趕出了家門。老許帶著一肚子的怒火，幾乎淨身被趕出了家門。
老許因為沒地方去，只好在其他的車馬店當臨時工。一次出遠門趕車的生意做完回來，才發現原來的車馬店出事了。出事的原因就是因為少奶奶太愛現了。少奶奶在趕走老許後，透過自己丈夫和小姑子的幫助下，終於接管了車馬店的大部分生意。掌權的少奶奶這才發現車馬店的家産原來比自己估計的還要多得多。為此她拿出一部分的錢打造了一大批的金首飾，把自己裝扮起來。少奶奶還出手買了許多的高檔的日用品，讓全鎮的人都知道了自己家有錢的事情。“財不露白”是一個老道理，少奶奶卻一點也不在乎。結果車馬店有錢的事情馬上被附近一群強盜知道了，結果就在老許不在家的時候，強盜洗劫了車馬店。
老許老丈人一家人就這麼都死光了，不但人死了而且所有的錢財也都沒有了，就連馬匹也被牽走了。全鎮的人也收到了影響，不少壯丁被殺，許多婦女遭了難。後來一些有經驗的人告訴老許，這夥強盜可能不是一般的強盜，極有可能是倭寇假扮的強盜。只有倭寇才會這麼趕盡殺絕，只有倭寇才會對全鎮的人這麼下死手。一般的強盜不會這麼沒人性，更加不會做的這麼絕。
老許雖然沒有得到過老丈人家一點好處，而且經常被他們一家人欺負。他曾經不止一次聽自己的老婆和老丈人說過，他只不過是他們家養的一條狗而已。在這個家裡他不但沒有地位而且連一點點的尊嚴也沒有。不過老許並沒有過分記恨這家人，特別是他的老丈人和老婆。老丈人再怎麼樣當初救助過他，要不是這個老闆的話，老許可能活不到現在。那個一直以來看不起自己的老婆，老許雖然和她沒有感情，但是老許真的把她當自己的老婆。小舅子一家人雖然對他不好，那是叫過他幾聲姐夫也算是親人了。所以最後還是老許，勸說大家為這一家人簡單地辦理了後事。不是老許不想辦得隆重些，第一是因為老許沒錢，第二是因為這家人在這裡人緣不是很好，大家誰也不願意幫他們，第三是因為這場禍事是這家人顯擺引起的，大家心裡都怨恨這家人。要不是老許一家一家磕頭又說好話的話，大家還不願意幫忙辦後事呢。老許這麼做也算報答了這家人多年來的恩情，大家都知道老許在這個家的情況，所以說老許是一個有良心的好人。
老許死了所有的親人，也沒有了店鋪生意，再加上車馬店這一行業在這裡越來越不好做了。不可能再留下來幹下去，所以帶著傷痛回到了北方。老許回到家鄉後發現自己一個熟人也沒有，老家的房子也沒有了。根本養不活自己，也沒有人願意收留他這個大男人。他只好進京先在京城的一家車馬店當夥計，幹自己的老本行然後再想其他的出路。
因為老許是一個行業內的熟練手，再加上老許會說南方的方言，容易為車馬店拉來南方的客人，所以老許漸漸在京城車馬店有了名氣。後來認識了路的老許，因為穩重和對行業的熟練，成為了一個可以獨當一面的“車把式”。老許這才開始不用擔心自己的溫飽問題，漸漸私下積累本錢。直到十年前老許終於用自己錢，頂下了一家規模不大的車馬店，終於有了自己的生意。老許這些年來不但自己做生意，而且又娶了一個老婆，七年前有了自己的孩子。老婆負責店裡的生意，他帶著幾個夥計做趕車和租借馬匹、馬車的生意。雖然規模不算大，但是足可以過上以前不敢想的日子了。
不過老許還是經常回憶起過去的事情，可能是年紀大了的緣故，總喜歡回憶過去的事情。也有可能是因為絕對自己過得不錯了，開始回想過去艱苦的歲月憶苦思甜吧。每當他想起南方車馬店的時候，當然也想起了深惡痛絕的倭寇。秦泰夫妻殺了許多侵犯當地老百姓的倭寇，就等於為老許報了仇。所以老許不但承諾不要秦泰的錢，而且答應免費為秦泰夫妻服務。他願意為秦泰一家人免費服務，幹多久都願意。秦泰夫妻當然不答應，他們不能讓老許吃虧，最後大家決定一個方案。秦泰出錢僱傭老許和他的馬車，按照京城的市價走，而且包老許的吃住。老許不會吃虧，秦泰也沒有多花冤枉錢，對雙方都說得過去。就這樣，老許成為了秦泰一行人的臨時加入者，回去之後他把自己的經歷講給行業內部的人聽，成為了大家羨慕的物件。
在往後多年後，老許幹不動了，一手抱著自己家的孫子，一手拿著一把茶壺，坐在自己家車馬店門口，給一大群圍上來的孩子們講故事。講的就是這一年他跟隨秦泰夫妻出去，查的這件離奇的案件。雖然他只跟秦泰沒有多久，但是可以講的故事真的很多很多。不但孩子們喜歡聽，就連一些鄰居們也喜歡聽。當然了這些故事絕大多數都是老許聽來的，不是老許親身經歷的。更多的是老許自己加油添醋過的，不過大家喜歡聽，老許也喜歡講。老許過世的時候，隨他一起下葬的東西裡面有一根旱煙杆，據他的後人說這是當年老許最敬重的恩人秦泰夫人展小小女俠送給老許的。老許得到後幾乎煙不離手，就算不抽煙的時候也拿著，好像這是他的榮耀一樣。
