我们家在共产党处于地下状态时就有６个共产党员，这在当时是很少有的。为什么从这样一个家庭里会出这么多共产党员？这有外部环境影响和家庭内部状况两方面的原因。从家庭内部来说，同我四哥杨闇公直接有关。
１９２０年秋，四哥从日本回国。他长我９岁，我们是同父异母兄弟，他又过继给我的叔叔，但我俩很亲近。他常常给我讲太平天国、义和团和白莲教起义的故事。他是１６岁离开家的，先进南京的军官教导团。袁世凯称帝时，他跑到江阴要塞司令部，鼓动他认识的那位萧团长起义，事败后，北洋军阀要抓他，他逃到上海，远去日本，进了士官学校的预备学校。那时他才１９岁。
四哥回到重庆后，积极宣传革命思想。他动员家里的姐妹剪头发，放小脚。我六姐带头剪了辫子，上街时，人们笑她的“鸡婆头”。不久，四哥又到成都去联络留日回来的学友，也动员我到成都进高等师范学校去上学。
成都的高等师范学校，是当时四川的最高学府，本科学制４年，另设附属小学。入学要经过考试。我在泰邑小学学的课程不完备，只好在高师的附小补习一年，第二年才进入本科。学校的校长吴玉章，是老同盟会会员、保路同志会的领导人，威望很高。教师中有共产党人恽代英等，教国文课的张锡俦老师在课堂上也宣传解放思想、反对宗法主义，校内进步空气很浓，在我脑子里开始出现一种模糊的救国思想。这时，四哥积极参加“留日学友读书会”的活动，又结识吴玉章和刘伯承，并且和童庸生、廖恩波等一起组织马克思主义读书会。不久，四哥和廖恩波也加入了社会主义青年团。吴老已年过四十，不能参加社会主义青年团，他便和我四哥、郭祖劼、傅双无等２０多人组织了一个马克思主义团体，那时他们不知道中国共产党已经成立，所以自己起名“中国青年共产党”，英文缩写为ＹＣ。１９２４年１月１２日，ＹＣ在娘娘庙街２４号我们的家里正式成立，还创办了机关刊物《赤心评论》。这一天，正好学校放寒假，我回家度假，就和大家认识了。那时我还没有满１７周岁。不久，四哥介绍我参加他们的读书会。
在这期间，四哥介绍二哥和我阅读《共产党宣言》、《劳农政府》和《新青年》、《中国青年》等书刊。他不仅指导我读书，还帮助我正确认识自己出身的阶级和旧家庭，启发我认清腐败的封建家庭和半殖民地半封建的社会。有时，我在信中表示一点幼稚的看法，他也感到高兴。他在６月４日的日记中写道：“接五弟一信，论吾族的毛病，很得大要，足见他的思想已日渐趋于本道矣。心甚喜！”
１９２５年，我高师毕业，离开成都到重庆。由于刘湘和杨森的反动面目日益暴露，四哥和童庸生等都集中在重庆，经童庸生介绍四哥参加了中国共产党，并且和团中央的特派员萧楚女取得直接联系。不久，共青团重庆地方委员会成立，童庸生为书记，四哥任组织部长，罗世文任宣传部长。我们二府衙街的家是团组织的活动中心，每天由邮政局送来一麻袋邮件。包括《新青年》、《中国青年》等进步书刊和《政治通讯》、《中学校刊》等党团内部刊物。
到重庆后，我没有报考别的学校，因为四哥希望我到上海大学去学习，但是一时费用筹不出来，只好等待。五卅惨案后，四哥分配我做些技术性的工作，如刻钢板、印传单、分发信件等。他们在我们家里开会时，要四嫂回避，但允许我旁听，有时，还让我帮助作记录。父亲不干涉他们的活动，但对不让他列席他们的会议，很不高兴，说“世间哪有儿子做事瞒着老子的道理”又责怪我说：“你和你四哥搞到一起，什么都不肯告诉我”刘伯承同志回忆说：有时候会开到深更半夜，“杨老伯下楼来探视说：你们这大半夜还不睡，有什么话说不完啊”又说：“我知道你们在开会，不过也要注意身体健康才对呀！”
就在１９２５年１０月左右，我被吸收为共青团团员；１９２６年春，又加入了共产党。
在重庆的一年里，我和四哥朝夕相处，在他指导下读书，参加他们的活动，又帮助他们做点技术性工作，这才迈开了革命的步子。所以，四哥是我参加革命的引路人。他有一句名言：“我是旧社会的叛徒，是新社会的催生者。”在他的影响下，我二哥也在１９２５年加入共产党，成为国民革命军第二十二军的党代表，大革命失败后，他在潼南县建立了第一个秘密的党支部。除了二哥和我以外，我的六妹杨义君，十一弟杨白冰和九妹杨白玲先后入党，一门出了６个共产党员，都直接间接受到四哥的影响。１９２６年２月，中共重庆地方执行委员会成立，中共中央任命四哥为书记，成为党在四川省的最早领导人之一。
我第一次见到毛主席时，毛主席问我：你是什么地方人？我回答：四川。他又问：你们四川有一位杨?公你知道吗？我说：他是我的四哥他便深情地询问烈士遗属的情况。我说有一子一女，四哥遇难时，大女儿一岁半，儿子才４０天。现在由我四嫂抚养着。这一来，我们之间的感情更加贴近了。
我是苏联中山大学后期支部局的委员之一，被列入所谓的“二十八个半布尔什维克”。整风对我来说确实有很大收获，那是从来没有经历过的。大家对我的批评，有些话也很厉害，那没有什么，又没有给处分，治病救人嘛后来，在党的七大的大会发言中，我对自己的错误作了郑重的自我批评。在苏联担任支部局委员期间，我所在的中山大学进行了“清党”，这是按联共布的办法进行的，支部局书记是苏联人，清党委员会的３名委员都是苏军参谋部派来的，在他们的主持下，以宗派的标准给每个党员做了政治鉴定。凡是同支部局靠拢的，就是好同志，不靠拢或半靠拢的，就是右倾机会主义分子或右倾调和分子。戴上这些政治帽子的人，回国以后，即使表现很好，常常或一直不受组织的信任。
当时的清党，是停课搞人人过关。中国学生逐个地在大会上“过筛子”，从个人历史讲到现实斗争中的立场，不会俄文的有人翻译。讲完后，台下２００多党员都可以向你提意见，揭发，追问，和“文化大革命”中“造反派”的斗争会差不多，只是没有弯腰、低头和“喷气式”，直到没有人提意见了，就算Ｐａｓｓ。我是拥护支部局的，清党委员会对我的结论是：出身不好，但基本立场正确，派回国内做实际工作。结果，全校有百分之五六十的学员被扣上托派、托派嫌疑分子、阶级异己分子、右派等政治帽子，有的开除党团籍，有的送到工厂农村劳动改造，还逮捕了３０多名“主要分子”。瞿秋白的爱人杨之华被送到工厂劳改，陆定一的爱人唐义贞，沈泽民的侄女沈莲春，我的爱人李伯钊都被开除团籍。这些“结论”，成为王明上台后推行宗派主义干部路线的重要依据。
至于“二十八个半布尔什维克”的称号，是许多中大学生对我们自称“布尔什维克”的挖苦和讥讽，很难确定地说包括了哪些人；可是在整风中，康生等硬要追究教条宗派的“组织”系统，结果，谁也没法开列出一个大家认可的名单，有人列出了四五十人，有人甚至列出了１００多人，成为以后一个争论不休的问题。
１９８０年，中共中央党史资料征集委员会曾邀请１９位当年中大的学员开过一次调查会，会上达成的共识是：“二十八个半布尔什维克”的说法，不能准确反映王明教条宗派的形成、发展和分化的实际情况，也不能说明它的性质和危害，建议今后不要再使用“二十八个半布尔什维克”这个专用名词。我是出席会议的成员之一，同意这个建议。具体地说，当时确有以王明为核心的教条宗派，主要是指一部分靠近中大支部局的党员，在政治立场和思想情绪上比较一致，但是，并没有什么固定的成员。所谓“二十八个半布尔什维克”，只是别人对他们的一种笼统的说法，所指的人也不尽相同，谁也没有列出过一个确定的名单来。我认为“二十八个半布尔什维克”这个流传很广的说法不合事实，也不准确。应当说：确确实实有王明教条宗派，但并没有什么“二十八个半布尔什维克”。
毛主席说，整风是思想上清党，审干是组织上清党，抗战以来，国民党对我党实行特务政策，力图派人打进我们内部来，１９４３年春天，国民党掀起第三次反共高潮，政治局势日趋紧张。在复杂的斗争中，审查干部，清除内奸，确实非常必要，但后来严重地扩大化了，康生在这方面起了很坏的作用。这年４月底，政治局批准成立反内奸的专门委员会，主任是刚从华中回到延安的刘少奇，副主任就是专管情报工作的康生，由他负责委员会的日常工作。康生审干的办法，是按照苏联的“经验”。当时，共产国际有一名联络员住在枣园，名叫彼得·弗拉基米洛夫，中文名字叫孙平。平时由康生同他联系。他介绍说：审干应该从下面往上追，最危险的敌人是埋藏在上层的人。
审干工作的进行最初是正常的，由各单位负责，重点在党校。但很快就发展到捕风捉影，无限上纲，把怀疑对象关起来交代问题，轮番逼供。有一次，在杨家岭礼堂开大会，“斗争”以前长期在国民党统治区工作的中央统战部副部长柯庆施，要他交代同特务的关系。会前，李富春、邓发和我去问康生：究竟有什么证据。我们还提出：这个会不能开，不然开了会闹不出东西来不好。康生架子十足，躺在床上，听都不听，说常委决定了，你们不要动摇。会上，和柯庆施一起在北平做过地下工作的有些人起来揭他。揭了些什么呢？我记得的有：“你戴了黑眼镜，大摇大摆地在东安市场走，说明你政治上有依靠”“你还背着照相机，你是地下党员，凭什么敢这样招摇？”柯庆施什么也不承认，说你们这些人说的都是假的，根本没有这个事情。大家就喊口号，打态度，轰了一个下午，从下午３点钟一直开到７点钟，什么结果也没有得到。那时，康生开了二三十人的名单，记得里面有邓洁，一旦柯庆施突破了，那二三十人都要抓，连关押人的窑洞也准备好了。散会后，我回家经过毛主席住的窑洞，他问我：你们开什么会呀？又叫又闹，开得这样热闹。我说：斗柯庆施嘛他说：你进来坐下讲讲，怎么个情况？我把情况向他说了，还讲我们３个人向康生报告过，认为没有把握。毛主席听后说：这个会不要再开了，我会给康生打招呼。这件事还是发生在“抢救运动”之前，后来在“抢救运动”中，又变本加厉地追逼，柯庆施的夫人被逼得投了井。
应当说，毛主席最初是信任康生的，以为康生是最早起来反对王明的，常在同志中称赞他，把领导整风的总学习委员会的常务工作交给他，而不是书记处或政治局。后来，从莫斯科回来的孔原和冯铉等同志，向毛主席直接报告了实际情况。孔原是老资格，原名陈铁铮，后来到莫斯科列宁学院学习，当时王明和康生是驻共产国际的代表，孔原讨厌王明，觉得他不正派，反对王明反对得很厉害，王明和康生也恨他，开除了孔原的党籍。回延安后，孔就找毛主席，说康生一直是宣传王明的，他不但没有反对过王明写的《为中共更加布尔什维克化而斗争》，而且在列宁学院讲中国革命史课时就以王明这本小册子作教科书；有一次，在中国代表团举行的招待会上，他还带头在祝酒时喊：“王明同志万岁”孔原跟毛主席谈话后，中央决定恢复他的党籍。这件事是孔原自己告诉我的。像这样去说的不只孔原一个人，从莫斯科回来的还有好几个人也去跟毛主席讲。不久，毛主席让康生离开延安，到晋绥去搞土地改革。
康生离开延安时，李富春、邓发和我去找他，问他发动“抢救运动”那些情报的来源，康生的态度仍非常暧昧，只说那个时候还是有材料的。什么材料呢？后来一查，大概有这么几个：第一个，是国民党西安特务站的ＣＣ分子陈建中给当时国民党绥德专员何绍南发过一个电报，说中共在陕北地区的一个领导干部，是他的同乡和同学，要何绍南进行策反。这个电报被康生截获了。陈建中也是莫斯科留学生，我担任国家主席时，他到北京来，还见过我。其实，问题不在于他有没有同学在延安。而要看我们的同志有没有接受敌人的策反。康生却不管这些，轻率地断言陕北的党有问题，西北局也有问题，最危险的敌人在上层。更荒唐的是，胡宗南在西安的“反共救国队”有意散布的政治谣言，竟也被康生用作“抢救失足者”的根据。“反共救国队”的队长是梁干乔，广东人，黄埔军官学校一期毕业生，１９２６年进入莫斯科中山大学学习，１９２８年夏，因托派问题被遣送回国。他有意制造假情报说：每一次知识分子到延安去的时候，我们都派人进去，一共打进了多少人去等等。康生就把它作为重要依据，在大会上宣布“特务如麻”，“延安的知识分子最少有一半是国民党派进来的”。康生是主管情报工作的，他把这些情报提供给毛主席，毛主席对敌情的估计也严重了，不然康生不敢开大会，作《抢救失足者》的报告；但是毛主席也发现并制止了运动中出现的一些偏差，如提出“抢救运动”不能发展；结论要有证据；一个不杀，大部不捉等。到延安撤退前夕，毛主席逐步发现康生这个人不大可靠。特别是康生在“抢救运动”中一系列的表现，使毛主席认为这个人“左”，用毛主席当时的话来讲：“我们党内‘左’得不能再‘左’的人就是康生。你们切记，不要相信他的话。”
１９４６年１月，国共双方达成停止国内军事冲突的协定，政治协商会议又通过五项协议，人们对和平建国又燃起新的希望。但３月上半月，国民党六届二中全会却违反协定，大幅度地修改政协通过的《宪法草案修改原则》。中共政协代表王若飞，政协宪草审议委员秦邦宪博古，为了尽快向党中央汇报，于４月８日搭乘美军观察组的Ｃ—４６飞机返延安。同时搭乘此机的有解放区职工联合会筹委会主任邓发，原新四军军长叶挺和他的夫人、子女，进步教育家黄齐生，还有八路军军官李绍华、赵登俊、魏万吉等共１３人。叶挺军长是“皖南事变”后被蒋介石囚禁的。３月４日，他在失去自由５年后，刚刚从重庆中美合作所的监狱——白公馆里释放出来，就急着飞来延安。这一天，重庆天气较差，但他们仍按原计划起飞。不料，飞机在山西兴县东南、海拔２０００余米的黑茶山，突罹空难，全机乘坐者连同美国飞行员共１７人，无一幸免！
这次大空难，震动了延安和重庆。一时谣传纷起，因为死难的有这么多中共领导人，谣传自然集中到一点：这是否有人蓄意制造的破坏事件？当时，我经办烈士们的治丧工作，对这件事知道得很清楚。
４月８日，得知叶挺和王若飞、博古、邓发等同机来延安，我报告了毛主席。毛主席很高兴，他非常想见叶挺将军等。我便着手组织人员到机场去迎接。那天，下着点细雨。上午１０时左右，机场上空传来隆隆的飞机声，但看不到飞机，因为天空云层很厚，能见度极低。不一会，飞机的引擎声渐渐消失了。美军观察组的地勤人员也没有与飞机取得联系。等到中午，仍没有信息，我们以为飞机一定是转飞北平了，于是打道回府。
第二天零时过后，美军观察组忽然来电话告诉我：Ｃ—４６飞机失踪了，既没有到北平，也没有回重庆。他们准备派两架飞机来延安附近搜索。我一下惊呆了。难道真的出事了？我立刻把这个情况报告毛主席和中央其他领导人，同时通报西北局和边区政府，请他们立即通知所有的县区，了解８日那天是否有失事的飞机坠下？９日上午，果然来了两架美军飞机，在延安附近来回盘旋，从空中搜寻，但没有结果。我预感到飞机一定是失事了，心情十分沉重。
第三天，也就是１０日早上，中共中央晋绥分局发来电报，据住在黑茶山附近的老百姓报告，８日上午听得山里头响了一个大炸雷，可是没有下雨，不知是咋回事？我请晋绥分局书记兼军区政治委员李井泉同志赶快派人去察看，中央也随即责成晋绥分局保卫部长谭政文组织人力到黑茶山地区搜索。到了晚上，谭政文来电报告：黑茶山是一片森林，方圆３０里内杳无人烟，现在分局已动员了上千民兵，反复寻找飞机残骸和烈士遗体。
那时，我们确实怀疑是不是国民党特务在搞鬼，因为叶挺同志出狱时，是由国民党的邵力子陪同到重庆八路军办事处红岩村的，邵是国民参政会的秘书长。正在召开的国民党六届二中全会上竟有人为这件事主张开除邵力子的党籍，说他对国民党不忠诚，这说明国民党内部法西斯分子大有人在。后来经过仔细分析，我们和观察组一致的看法是：因为气候恶劣，天空云层厚，能见度极差，飞行员在机场上空盘旋，找不到跑道，只好改变航向，朝北平方向飞行，不幸撞毁在２０００米高的黑茶山上。这就是群众反映的没有下雨而响起一个大炸雷的由来。
毛主席和中央其他领导人十分悲痛。毛主席特别嘱咐一定要把烈士的遗体找到，要尽最大的努力。那几天，我日夜守在电话机旁，随时向中央报告情况。应该说，观察组也是尽了力的，他们派飞机连续搜索了３天。１１日，我们找到了飞机残骸和烈士们的遗体，立刻组织修路，把烈士遗体先运到山西忻县一个日军使用过的旧飞机场。１８日，由美军观察组用飞机运回延安。
延安组成了“四八烈士”治丧委员会，毛泽东题了词：“为人民而死，虽死犹生。”
１９４８年５月，书记处的同志会合西柏坡后，中央工委和后委已经完成它们的历史任务，各部门的机构和人事作了调整。５月１５日，由周恩来起草、毛主席签发了一份致各中央局、分局和前委的电报：任命“杨尚昆为中共中央副秘书长，仍兼中央军委秘书长”。同时还担任中央办公厅主任、中直党委书记和中直机关的警卫司令。我虽然在抗战胜利后不久就接替李富春同志承办中央办公厅的许多工作，但没有正式的任命。到西柏坡后，才正式宣布这个任命。
在延安时，中共中央秘书长是任弼时同志兼的。七大以后，他的高血压和糖尿病日益严重。到西柏坡后，中央秘书长实际上是恩来同志，凡是书记处决定了的党政军大事，都集中由他组织实施。到中央办公厅工作后，我先是在任弼时、后是在周恩来同志直接领导下工作。他们那种兢兢业业、精细周密、鞠躬尽瘁的精神，使我深受感动。
我过去说过两句话：一年四季忙到头，到年终数不出几条成绩。但宵衣旰食，不敢一刻懈怠。打麻将不是有个叫“听用”的牌吗？办公厅的工作好比是“听用”，需要干什么就干什么。有的国家在政府内有个“不管部”，任务是干没有专门部门归口的那些工作。我们的办公厅却连有专门部门归口的工作，有时我也参与。比如同中央调查部和公安部，我一直认为自己只是做些一般的联系，后来罗青长告诉我，调查部归杨尚昆领导是下过文件的。公安工作是毛主席直接过问的，但罗瑞卿部长几次开公安工作会议，都拉我去讲话。还有，搞人口普查，按说有内务部、民政部和国家统计局，但中央也让我去主管。外交工作，有外交部、联络部，但同苏共中央的联络又在办公厅里设立一小班子，还有一部热线电话。周总理和少奇同志出访时，办公厅不但要管安全保卫，连飞机的航班都要过问。１９６２年，“大跃进”后，经济严重困难，要压缩城市人口１２００万下乡，本来是劳动部的事，结果又落到我头上，马文瑞部长成了副手。仔细一想，也只能如此办，因为上千万农业人口都是“大跃进”时期涌进城市的，让他们回农村，除了思想教育外，物质上得给予一点优惠，光是劳动
