1996年6月18日，原中國軍事顧問團顧問左三起）王振華、王硯泉、茹夫一、董仁重訪越南，在胡志明陵前與越南同志合影
顧問團完成使命
1954年關於印度支那問題的日內瓦協議簽署後，隨著越南停戰，中國顧問團完成了在抗法戰爭中的使命。
1954年8月下旬，中共中央對外聯絡部擬訂的對駐越顧問團的處理和建立使館的方案提出，根據越南停戰協定，中國軍事顧問團和政治顧問團的組織形式和工作方案應予改變。中國將正式建立駐越南大使館，從而撤銷兩個顧問團。軍事顧問團撤銷後，少數顧問將轉到大使館武官處工作，其餘人員回國。
根據方案，當時已回國內休假的梅嘉生和部分師團級顧問留在國內重新分配，不再返回越南。1954年9月1日，羅貴波作為中國駐越南首任大使，和參贊謝爽秋一道，向胡志明主席遞交國書，中國駐越南大使館正式建立。不久，羅貴波向越南勞動黨中央轉達了中方將撤銷顧問團的提議，徵求越方意見。
根據中方意向，勞動黨中央專門開會討論了兩次，同意中國的方案，贊成今後再行聘請中國顧問。但越方仍認為，在軍事系統最好不採取公開聘請的辦法，還希望繼續以秘密方式請中國軍事顧問幫助工作。
10月18日，中共中央複電羅貴波，指出軍事、政治顧問團的機關人員要陸續撤回國內。今後哪一類顧問和專家應該公開或不公開，都尊重越南勞動黨中央意見，根據越方意見決定。這時，在冊的赴越南中國軍事顧問團共有237人，其中警衛、電臺、供給、醫務等保障人員佔大多數。
顧問團撤銷後，部分同志留在中國駐越南大使館工作。圖為在越南大使館工作期間文莊和夫人葉星在河內機場合影
1955年7月22日，中共中央發出《關於中國駐越專家和技術人員若幹問題的指示》，明確了撤銷顧問團、改派專家的決定。“指示”指出，越南民主共和國還都河內後，中越關系在若幹方面較之過去有了很大的變化：第一，越南國家政權建設已進入了一個新的階段，我國亦在越南建立了大使館，西方國家在越南也有了一些代表機構，因此今後中國對越南的援助，不僅應該，而且可以透過國家的關系來實現，這與過去有所不同；第二，越南實現和平後，中越交通已很方便，兩黨中央和兩國政府直接接觸比較有利，兩黨中央在重大問題上的直接接觸會使問題解決得更正確、更全面，並可避免因來往轉達意見而産生的不準確或誤解，這與戰時情況多變，交通不便，越南需要中國派遣顧問以便及時諮詢的情況有所不同；第三，停戰後的越南民主共和國，面臨著國家建設特別是經濟恢複和建設的艱巨任務，今後需要中國幫助的，主要是建設方面的物資和專家。“鑒於上述的各種新的情況，又鑒於援越的形式業已增多，因此過去透過黨的關系秘密地派遣顧問赴越的這種援助形式，也應該有所改變。”“指示”指出，派到越南的中國專家，都是由越方聘請的，在越南黨和政府領導下進行工作，並不是中國黨和政府派遣的代表，這是和顧問的身份職權不同的。
1955年7月至8月間，韋國清在北京休假。劉少奇、鄧小平就撤銷軍事顧問團一事召見韋國清，作了指示。劉少奇指出，根據新的形勢，軍事顧問團要分步驟地撤回來。軍事顧問團在越南的工作是有成績的，對越南有幫助，如組織部隊、訓練部隊、組織作戰等，都取得了很多成績。在組織接管城市方面也是有成績的。現在任務已經完成，就應該及時撤回來。顧問們都有這個願望，現在可以滿足了。
劉少奇對韋國清說，要教育全體人員，決不能有任何鬆懈，要有始有終地做好工作。工作中如有缺點錯誤，應認真進行自我批評，努力搞好團結，挽回不良影響。
鄧小平在談話中肯定了軍事顧問團在越南抗法戰爭中取得的成績。他強調，我們在越南工作的同志，要積極地去做應該做的工作，要站在越南人民的立場上去做事情，要團結與尊重越南的同志，不能隨便提意見，辦錯了事還是要受批評的。
1955年8月下旬，韋國清從北京去到河內。8月29日，他向軍事顧問團師以上幹部傳達了中央領導人的指示。9月2日，軍事顧問團黨委開會，貫徹中共中央指示。這時軍顧團尚有軍事、政治、後勤、幹部教育、炮兵、工兵、民航等7個顧問組，數十名顧問。根據軍顧團的情況，作出如下安排：
1.軍事顧問團人員分三批撤離回國：第一批是原有工作已完成，沒有接受新的任務者，於9、10月間先行回國；第二批是按照越方要求還有事情要做的，暫留數月，在年底回國；第三批是有些工作年底還不能辦完以及留做收尾工作的少數人員，將於1956年春季撤完。留下的人改為軍事專家和技術人員，由大使館武官處領導，接受新的任務。
2.軍事顧問團回國以前，要特別注意做好內部與外部的團結工作。特別是過去某些人在與越方人員團結方面有缺點的，要認真檢討，主動與對方交換意見，切實挽回影響。
3.要保證做好軍事顧問團撤離前的各項工作。主要是按照中越雙方在北京會談的精神，幫助越方搞好作戰部署、部隊整編、培訓幹部的計劃，以及幹部教育和部隊訓練、機關部門的業務建設等工作。
軍事顧問團副總顧問鄧逸凡於1955年9月中旬率第一批人員離開河內回國。鄧逸凡歸國前夕，越軍總政治局主任阮志清兩次前來長談，表達了難以割捨的戰友情誼，最後將鄧逸凡送至睦南關分手。
1955年12月24日，中國國防部和外交部聯合發出了《關於撤銷我國駐越軍事顧問團和改派軍事專家的決定》，對在越軍事專家的工作任務、領導關系和派遣程式等作了規定。“決定”指出：“在越軍事專家的任務，主要是幫助越南人民軍的軍事訓練工作和帶專門性的各項業務技術工作。凡有關方針、政策性和原則性的問題，以及人民軍內部的行政人事事宜，均不屬於專家工作範圍。”軍事專家的派遣，由越方根據工作需要，擬訂聘請專家的計劃，由越南政府或勞動黨中央向中國政府或中共中央提出聘請。中國“在越軍事專家和技術人員，統歸我駐越大使館武官處領導”。
誰來擔任軍事顧問團之後的駐越南“軍事專家組組長”呢？
韋國清打算在於步血、董仁這兩位師顧問中選擇一人留在越南。對這件事，毛澤東問過韋國清，你打算要誰回越南呀？是不是先和總理商量一下？回去的人叫顧問也好，叫武官也可以。
韋國清召來了於步血和董仁詢問，誰願意繼續留在越南工作。於步血原本來自三野，在韋國清面前快人快語，坦率地說自己希望回國工作。韋國清又轉身徵求董仁的意見。董仁也希望回國，但表示最後由上級來決定。
韋國清靈機一動，去找了陳賡。原來在這次韋國清回國向毛澤東、周恩來彙報的時候，周恩來把陳賡也找去了。韋國清特意就專家人選徵求陳賡的意見，陳賡聽過以後說，這還不容易嗎？叫王硯泉去。王硯泉剛好從南京軍事學院結束學習，他去過越南，幹得很好。現在又回國了一段時間，叫他去挺合適。劉少奇、周恩來同意陳賡的意見，最後由毛澤東拍板，任命王硯泉為駐越南軍事專家組組長，國林之為專家組黨委書記。[1]
中方的這些決定，是在越方一再要求中國繼續派遣軍事顧問的情況下作出的。武元甲率領越南軍事代表團於1955年夏、冬兩次訪華，均提出要求中國繼續派顧問幫助越軍各方面的工作。第一次訪華期間，越方提出，在新形勢下，軍事任務極其重大，建議中國顧問在軍隊建設、幹部訓練、作戰準備，各兵種和新軍種的建設、部隊和機關的建設等方面予以全面的並有重點的幫助。為此除現有顧問外，還要求充實總參、總後的顧問，增派海、空軍和公安部隊等顧問。第二次訪華期間，武元甲又提出，希望中國今後除繼續派專家幫助工作外，還希望派一人幫助越南總軍委的全面工作。
中國方面對撤銷軍事顧問團改派專家的決心是明確的。1955年12月24日，彭德懷寫信給武元甲說：
武元甲同志：
越南的和平已經實現，越南人民軍經過八年抗戰的鍛煉，不論在作戰和訓練方面，都有很大的進步，並獲得了相當豐富的作戰經驗，奠定了走向現代化正規化的良好基礎。為了適應上述情況，我們認為需要改變目前由中國派遣軍事顧問幫助越南人民軍工作的方法，故決定撤銷現有的軍事顧問團的組織機構。如果人民軍尚有某些工作需要中國幫助而我們又可能幫助的話，則改派專家性質的幹部前往進行幫助。
今後赴越工作之軍事專家擬組織為專家組，設組長和副組長負責管理工作，並歸中國大使館武官處領導。
