父亲在清华学校上学的时候，因运动致腿伤，后来由于结核菌侵入膝盖而不得不锯去一条腿。奇怪的是我从小到大，思想上似乎从未把他和“残废”二字联系在一起。也许是因为他行动敏捷，性格开朗，并不觉得他与常人有太多不同之处，也许是由于亲属关系，太熟悉了反而不加分辨。记得1942年我进联大附中上初一，住到西仓坡清华办事处他的宿舍里，在没有给我另架一个木板床之前，他那缺一条腿的空当曾权充我的铺位。那时我11岁，个子也小，头对着他的一只脚，就可以搁下。直到近年来国家兴办残疾人事业，听得多了，才忽然有一天悟到我的父亲就是一个“残疾人”。推想起来，他当初遭此打击，思想上大概有过一番波折，行动上一定经历过很多的困难才磨练成后来的样子。叔父告诉我，父亲就在此时加入了基督教。不过，1926年他写过《基督教与中国——一个文化交际的观察》一文，批判了基督教的观念。当年的情形，最好是读梅贻宝先生的回忆文字：
我在1915年入清华，初次看见他，他已经是独腿客了。在前一年他跳高跌倒，伤了腿。医师有欠高明，耽延一阵，竟成不治，只可把伤腿切断。他曾碹装过假腿，但是麻烦胜过架拐，他索性架拐架了毕生。他虽然独腿，但是一般行动概不后人。周末同学们郊游散步，他从未缺席。他同我对于学生基督教青年会都感热心。有一次在西山卧佛寺开会。会序中有一项排列在寺院后山门（等于半山腰）举行。老潘亦就架拐登山，若无事然。（《清华与我》）
在一张校友调查表的“爱好”栏里，他填的有：旅行。我初看到时觉得很新鲜，因为我过去并不了解这一点。虽然知道他常常出门旅行，出门前后也总是显得很愉快的样子，从无烦恼的表现，但是达到“爱好”的程度，似乎是另外一件事。再一想这种表格也许是信手填来，填的人和看的人都用不着认真。无论如何，残疾的身体条件和对旅行的爱好总像有些矛盾。还是看他自己怎样讲的吧：
但若就中国人说，却似乎又当别论。我们的毛病是在旅行得太少。我们不但旅行得少，并且还要说些漂亮的自圆之词，例如“秀才不出门，能知天下事”之类。要是不景气时代以前的美国人所走的是一个动的极端，我们的便是一个静的极端了。 所以不管那位美国教授怎样说，我是主张中国人应该多多的旅行的。中国的地方这么大，地理环境的变化这么多，历史的背景又这么悠远，而各地的背景又这么的不同，要是专靠一些书本的智识而不旅行，不给耳目一个实地接触的机会，要教一个民族分子对于本国的史地有一个差强人意的囫囵的概念，我以为是不可能的。从取得此种认识的这一天起，凡遇有旅行的机会，我是没有不利用的。 在求学时代除了靠近家乡的上海一带以外，只到过一次南京，一次宁波；北平，因为读书关系，每年必得来往一次，一起到有过八九次之多。此外便没有可说的了。民国十六年，总算第一次到杭州、到镇江、到苏州；十七年到普陀山；十八年到大连、沈阳、长春、哈尔滨。十九年到过松江。二十年到青岛、烟台、潍县、济南，到九江、庐山，到广州、香港，到无锡。二十二年初到之处有汉口、有杭江路和钱塘江上下游所经过的各县。本年（1934年）初次观光到的又有嘉兴，有杭徽公路的各要点，有扬州。最近乃有豫鲁两省的行程。（《豫晋行程的第一段》）
这种精神和行为贯穿了他的一生。每次出行往往带着《徐霞客游记》或设法配备当地志书，把前人的记载和自己的观察相对照，并且写下一些知识丰富、文笔生动的游记或日记。作为残疾人当然他会比别人遇到更多的困难，实际上也曾经发生过爬山落马及滑跌等一类有惊无险的事故，反映在他的文字中，往往出之于诙谐的笔调。
1952年春我参加完土改回北大，学校里的三反和知识分子思想改造运动已是尾声。一天高校党委的××同志找我谈话说：“潘光旦的检讨一直没通过，他的认识太差，可是老拖着也不行，他的检讨不通过运动就结束不了。现在我们得想法帮助他让他通过，不行就内挂。现在清华要开大会，你得去发一次言。北大周炳琳检讨大会，他儿子上去发言，他很感动，对他的改造很有帮助。”当时潘是清华运动重点对象，周是北大重点对象，是北京高校中最大的两个重点。我觉得发言有困难。一则我并未读过多少我父亲的著作，发言缺少实际内容。二则我很了解父亲的性格，我发言决不会使他感动，效果将适得其反。三则我一向沉默寡言、不善辞令，小组会上尚且不爱发言，更别说大会了。我对这位领导同志说明了理由，但是没有能说服他。最后我只好准备一个简短发言，基本是表态性的，希望父亲站到人民立场上好好改造云云，经过领导审阅，他们并不满意，但也难再改，我就这样发了言。事后父亲对我的发言没有作任何表示。此后，他的检讨就算通过。不过，父亲的问题决不会到此为止。这次运动中已经批判了所谓“罗隆基小集团”问题，反右派运动一开始就抓章罗联盟，“罗隆基小集团”问题立即再次被提出来批判。现在读到当年的《三反快报专刊》，可知当时批判上纲之高、攻击之烈决不亚于反右斗争和文化大革命，甚至提出一些性质严重的问题，从未给予澄清的机会。例如1936年清华学生运动中的问题。八十年代李树青先生写道：“潘先生身为教长，虽然也同情学生的爱国热诚；但是总觉得学校当局对家长负有学生的安全与读书责任，深恐由搏斗而造成惨案，或致学生被捕而陷身囹圄，荒废学业，特别是日伪正在眈眈窥伺、寻觅借口，挥军进占。一面央求校长到城内与军政当局洽商劝其容忍；一面劝阻学生，嘱其稍安勿躁。这时笔者因已考取清华三届留美，虽毕业但仍留校准备出国研究工作，故对当时情势，颇有所知。”“从现在来回顾当年的行径，平心而论，我们不能认为潘先生在教务长任内对学生运动的阻挠，犯了任何‘反动’或‘错误’。”（《悼念业师潘光旦先生》）钱伟长先生说：“他作教务长，每次我们都找他当面谈。他很能讲道理，潘先生有这个特点，总能讲一套道理。道理讲完了学生不满，我也很不满。可是完了以后他总把我留下，因为我属于研究生，是留下的，偷偷地告诉我一句话说：‘你们听了就过去了，学校并不是完全反对你们的，不过外头不要宣传，我们作缓冲的人。’他是这样一种态度，作缓冲的人，保护青年的人。他说：‘我们还得对上头，对南京讲话。’老是这一句话。所以他对学生运动的人总是讲而不处分的，一般是不处分的，就开除过两批学生会主席，都是开除以前先把他们安排好了，走了再公布，贴个名单对付南京，另外再选几个人出来就行了。所以我们那时候学生会主席换得很快。这是潘先生的情况。从这里可以反映出来，他虽然是作了教务长，不得不为当局讲几句话，可是他是很有分寸的，不是迫害学生的。这一点很重要。”（1987年在追思会上的发言）我们以前听母亲说过，那年在军警包围清华园的时候戴中?先生（后名黄葳。我们幼时称之为八娘娘）带了别的学生曾经藏在我家天花板上面。
听我母亲后来说，反右开始之际，民委汪锋同志曾找父亲谈话一次，也许可以不划为右派；据她分析这次谈话的用意可能是：如果父亲承认在土家族的问题上有错误。因为父亲不承认自己在土家族问题上有错误，所以立即开始批判。究竟是否如此，我不得而知。反右派斗争中民院党委某位统战委员到北大来找我调查父亲的情况，他对我说：如果你不揭发你父亲的问题，于你个人的前途不利。我对他这种非原则的以个人利害相威胁的言行甚为卑视。但我确实不知道父亲有何种的反党反社会主义的言行，不得不搜索枯肠，写一些我所知道的情况交给他。八十年代有一次在民院图书馆碰见他，他主动对我说：在潘先生的问题上我们都错了。我听后愕然，未予答理。他能承认错误还是好的，因为至今有人不能公开承认自己的错误。但是我对父亲并无不实之词，如何能与他等同起来，难道他想让我分担他的错误吗？反右派斗争后期，一天市委一位同志召我和乃?去谈话，意思是说：现在钱端升交代了和帝国主义分子来往中性质很严重的问题，因此怀疑潘光旦也有这方面的问题，希望我们和他谈一谈，让他交代。我回去向父亲转达了这个意思，他不存在什么不可告人之事，随即动手写出材料。我记得他当时写过两份很长的材料，
一个有关和罗隆基的关系，一个关于和“帝国主义分子”的关系。后者将他过去日记中所有涉及与英美人士来往之段落全部抄出。由于他素有目疾，视力很差，遂由我代为复写，一份交到市委，一份交到民盟中央，一份交到民院党委。当时我这样做并无顾虑，因为我奉派在先。到了八十年代，我听说钱端升先生已经加入中共，我想他这方面当然早也不存在问题了。历史常常无独有偶，并具有强烈的讽刺性。当年在我们这边认为“美国特务”或“帝国主义分子”的人，在美国的麦卡锡时代在他本国内却被认为同情中国而属“非美”，曾遭严重迫害。1979年费孝通先生赴加讲学，我随行，见到费慰梅（费正清夫人），她说费正清当时被迫害到几乎神经失常的地步。又在不列颠哥伦比亚大学见到原太平洋国际学会的Holland先生，他告诉我他认识我父亲。他是因当时的迫害而逃往加拿大的。我们见到他时，他们还办着一份太平洋杂志。据说抗日战争时期美国驻昆明领事馆的官员，有的被排斥后来从商。我在上面提到的两位市委的领导同志，他们品格正直，都有长期革命斗争的历史，卓有贡献，他们都已在文革中被迫害致死。我一直对他们怀有敬意，并在为他们开追悼会的时候，无论到场与否，均致以悼念。我对过去发生的事，视为历史的必然或已然，只不过认为历史事实今天应该可以公之于众，让后来的人可以了解，可以吸取经验教训罢了。
至于父亲自己，一向对历次运动中对他的批判斗争采取一种有则改之，无则加勉的态度。对其中一些颠倒是非、进行人身攻击的言行虽感痛心，也不愿多作解释。不怨不尤，平淡处之。乃谷回忆：母亲于1958年10月病危之时，她已大学毕业，正在待分配之中，因此父亲叫她回家照顾母亲，而避免影响我们。母亲去世之后，父亲大恸二次。他总觉得因自己遭遇反右斗争影响了母亲，使她精神负担过重，而过早地去世了。
