自京汉铁路借款以后，清政府就一直谋求京汉铁路的全部自主经营权。光绪三十三年（1907）四月，陈璧补授邮传部尚书。陈璧于光绪三十三年七月初三日（1907年8月11日）上奏《密陈京汉铁路清还洋款期限折》，对原与比利时签订的条约中之还款期限问题进行了澄清，开始了收赎京汉铁路的积极筹备。

收赎京汉铁路，最重要的显然是资金问题，陈璧和梁士诒经过讨论后，想到的办法是设立一家银行。

首先，对邮传部业务运营而言，设立银行有其必要性。邮传部管理的四政业务，来往款项向由外商银行代理，等于是“操纵由人”，不仅不便于掌握，利益也受到损失。与其让外商取利，不如自办银行。

其次，交通银行的出现，并不会与其他银行冲突。鉴于户部银行已经在运营，为了取得发放行执照的主管机关度支部的支持，陈璧对交通银行做了合适的定位。作为商业银行，交通银行的角色是“为中央银行之助”。

陈璧旨在说明，交通银行的设立，对邮传部而言，可以“行轮、路、电、邮交通利便之益”；对度支部而言，“是以厚中央银行之势力”，“为中央银行之助”；对清政府而言，“足以收各国银行之利权”，“而交通利便固不仅轮、路、电、邮实受其益已也”，可谓一举三得。

光绪三十三年十一月初四日（1907年12月8日），陈璧正式上呈《拟设交通银行折》，指出有必要仿照“各国普通商业银行章程”，设立交通银行。奏折中还附上了《交通银行章程》，明确“交通银行纯用商业银行性质，由邮传部附股设立，官股四成，商股六成”，“总行设在北京，铁路可通之天津、上海、汉口、厦门、镇江、广州六处先立分行”。

鉴于收赎京汉铁路的迫切需要，《拟设交通银行折》上呈后没有遇到多大的阻力，该折的最终批阅意见为“奉旨依议，钦此”。由此，交通银行的成立从规划变为了现实。

光绪三十四年二月，邮传部奏请在正阳门内西交民巷镶红旗官地上建盖交通银行，奉旨依议。交通银行随即于二月初二日（1908年3月4日）“龙抬头日”开市。

交通银行的成立，对收回京汉铁路、助推交通事业发挥了积极作用。在以陈璧为首的邮传部诸人的不懈努力下，终于在1909年到来之前将收赎京汉铁路之款如数筹齐付清，京汉铁路管理权回到了中国人手中。

陈璧遇事持正，精勤不苟。叶恭绰评价陈璧：“所任之务，类关兴革大计，且成绩炳异，其定法至今犹将持循。”并对陈璧“治事之勤、虑事之密”，“衙斋抱牍，析疑辩难”的情形念念不忘。《清史列传》亦评价“璧精核，任劳怨，勤于职事”。而就交通银行之设立而言，陈璧实有首创之功。