李祥瑞的名字，与20世纪80年代中国金融业的两项重大改革试点⸺全国第一家股份制商业银行交行的重新组建和全国第一家证券交易所上海证券交易所的诞生紧密相连。

在交行重新组建的筹备阶段，担任中国人民银行上海市分行行长的李祥瑞始终深度参与其中。1985年7月，交行筹备组成立后，李祥瑞陪同顾树桢、陈恒平、余瑾到北京向人民银行总行汇报筹备情况，并征求国家计委、国家经委、财政部和各专业银行对筹建交行的意见。筹备过程中，李祥瑞亲力亲为，就银行名称、基本任务、业务范围、银行性质、机构设置等问题进行调研、开展讨论、出谋划策。为了在交行探索新型管理体制，1986年10月，李祥瑞还率团赴德意志联邦共和国考察施行“两级法人制”的可行性。

1987年2月14日，国务院任命李祥瑞为交行总经理；3月18日，交行在上海市江西中路200号召开第一次董事会议，通过了领导班子名单，李祥瑞任董事长兼总经理。

在第一次董事会上，李祥瑞就旗帜鲜明地提出“三个第一流”的目标，即“第一流的服务质量，第一流的工作效率，第一流的银行信誉”。此后，他反复强调，要把“三个第一流”落实到每一个业务领域，“力求在近几年或者更短的时间里，把我行办成一个富有改革精神的新型的社会主义银行，跻身于国际银行之林，为我国的经济发展作出应有的贡献”。

1987-1993年，在李祥瑞担任交行主要领导职务期间，交行各项工作取得了可喜进展。仅重新组建的1987年底，资产规模（不包括香港分行）就达到了67.05亿元，对外营业（或试营业）的分支机构有上海、南京、大连等16处，同日本、美国、加拿大等126家外国银行建立了代理关系，并同其中的25家银行建立了账户关系。为保证业务的正常开展，交行重新组建当年就迅速建立了一批业务规章制度，落实了内部自我控制措施，初步做到成龙配套。

李祥瑞是中国金融业改革的主要探路者之一。他积极学习、运用国际商业银行成功的经营管理经验，为把交行办成具有一流水平的商业银行做了大量卓有成效的工作，也为交行的改革和发展打下了扎实基础，在推进商业银行的改革和发展中发挥了重要作用。退出领导岗位后，他受聘担任交行董事会高级顾问，继续为交行的改革和发展出主意、想办法，积极支持交行领导班子开展工作，深受全行员工的敬重。