这时我们结交了一位很好的朋友——谢南光同志，他是代表团政治组的副组长，也是一个地下共产党员。通过他，我们研读了许多毛主席著作，并和国内有了联系。文藻有个很“不好”的习惯，就是每当买来一本新书，就写上自己的名字和年、月、日。
代表团里本来有许多台湾特务系统，如军统、中统等据说有五个之多。他们听说政治组同人每晚以在吴家打桥牌为名，共同研讨毛泽东著作，便有人在一天趁文藻上班，溜到我们住处，从文藻的书架上取走一本《论持久战》。等到我知道了从卧室出来时，他已走远了。
我们有一位姓林的朋友——他是横滨领事，对共产主义同情的，被召回台湾即被枪毙了。文藻知道不能在代表团继续留任。一九五○年他向团长提出辞职，但离职后仍不能回国，因为我们持有的是台湾政府的护照，这时华人能在日本居留的，只有记者和商人。我们没有经商的资本，就通过朱世明将军和新加坡巨商胡文虎之子胡好的关系，取得了《星槟日报》记者的身份，在东京停留了一年，这时美国的耶鲁大学聘请文藻到该校任教，我们把赴美的申请书寄到台湾，不到一星期便被批准了！我们即刻离开了日本，不是向东，而是向西到了香港，由香港回到了祖国！
这里应该补充一点，当年我送回北平学习的儿女，因为我们在日本的时期延长了，便也先后到了日本。儿子吴平进了东京的美国学校，高中毕业后，我们的美国朋友都劝我们把他送到美国去进大学，他自己和我们都不赞成到美国去。便以到香港大学进修为名，买了一张到香港而经塘沽的船票。他把我们给国内的一封信缝在裤腰里，船到塘沽他就溜了下去，回到北京。由联系方面把他送进了北大，因为他选的是建筑系，以后又转入清华大学——文藻的母校。他回到北京和我们通信时，仍由香港方面转。
因此我们一回到香港，北京方面就有人来接，我们从海道先到了广州。
回国后的兴奋自不必说！一九五一年至一九五三年之间，文藻都在学习，为接受新工作做准备。中间周总理曾召见我们一次，这段事我在一九七六年写的《永远活在我们心中的周总理》一文中叙述过。
一九五三年十月，文藻被正式分配到中央民族学院工作。新中国成立后，社会学和其他的社会科学如心理学等，都被扬弃了竟达三十年之久。文藻这时是致力于研究国内少数民族情况。他担任了这个研究室和历史系“民族志”研究室的主任。他极力主张“民族学中国化”，“把包括汉族在内的整个中华民族作为中国民族学的研究，让民族学植根于中国土壤之中”。这段详细的情况，在《中央民族学院学报》一九八六年第二期，金天明和龙平平同志的《论吴文藻的“民族学中国化”的思想》一文中，都讲得很透彻，我这个外行人，就不必多说了。
一九五八年四月，文藻被错划为右派。这件意外的灾难，对他和我都是一个晴天霹雳！因为在他的罪名中，有“反党反社会主义”一条，在让他写检查材料时，他十分认真地苦苦地挖他的这种思想，写了许多张纸！他一面痛苦地挖着，一面用迷茫和疑惑的眼光看着我说：“我若是反党反社会主义，就到国外去反好了，何必千辛万苦地借赴美的名义回到祖国来反呢？”我当时也和他一样“感到委屈和沉闷”，但我没有说出我的想法，我只鼓励他好好地“挖”，因为他这个绝顶认真的人，你要是在他心里引起疑云，他心里就更乱了。
正在这时，周总理夫妇派了一辆小车，把我召到中南海西花厅，那所简朴的房子里。他们当然不能说什么，也只十分诚恳地让我帮他好好地改造，说“这时最能帮助他的人，只能是他最亲近的人了……”我一见到邓大姐就像见了亲人一样，我的一腔冤愤就都倾吐了出来！我说：“如果他是右派，我也就是漏网右派，我们的思想都差不多，但决没有‘反党反社会’的思想！”我回来后向文藻说了总理夫妇极其委婉地让他好好改造。他在自传里说“当时心里还是感到委屈和沉闷，但我坚信事情终有一天会弄清楚的”。一九五九年十二月，文藻被摘掉右派分子的帽子。一九七九年又被把错划予以改正。
作为一个旁观者，我看到一九五七年，在他以前和以后几乎所有的社会学者都被划成右派分子，在他以后，还有许许多多我平日所敬佩的各界的知名人土，也都被划为右派，这其中还有许多年轻人和大学生。我心里一天比一天地坦然了。原来被划为右派，在明眼人的心中，并不是一件可羞耻的事！