学校的历史渊源可追溯至1896年成立的山海关北洋铁路官学堂（原唐山铁道学院前身）和1909年成立的北京铁路管理传习所（原北京铁道学院前身）。
1946年冬，东北解放区创建了东北铁路职工学校，后改名东北铁路学院，哈尔滨铁道学院，后来并入北京铁道学院。
1949年夏，中央军委铁道部决定，将接收的交通大学之唐山工学院、北平铁道学院和新创建的华北交通学院合并，组成中国交通大学。
1950年9月，中央人民政府政务院决定，中国交通大学改名为北方交通大学，交通大学的北京管理学院改称北京铁道学院，唐山工学院改称唐山铁道学院。
1956年，政务院决定唐山铁道学院迁往兰州建校，教育部确定学校按在校学生9000人的规模在兰州市选址修建。1956年起，政务院决定唐山铁道学院迁往兰州建校。唐院在兰州市安宁区勘测了校址，并正式动工修建了部分校舍。后因故未迁，遂将已建少量的校舍移交给铁道部直属的兰州铁道学院。
1958年，铁道部决定唐院暂不迁校，并决定在兰州唐院所选校址新建一所兰州铁道学院。中华人民共和国铁道部报经党中央、国务院批准，铁道部下达了“铁人教专腾【58】字第224号”文，确定兰州铁道学院所需的师资、设备，由唐山、北京两所铁道学院对口支援。7月10日，奉铁道部令，铁道部第一勘察设计院所属机械修配厂转交兰州铁道学院使用。7月22日，铁道部教育局下令唐山铁道学院将其所属的给排水教研组的所有教师、设备全部调入兰州铁道学院。9月，兰州铁道学院正式面向全国招生；9月18日，铁道部决定，将部属石家庄工农速成中学和北京铁道学院工农速成中学的师资、设备调兰州，拟创办兰州铁路中等专业学校，后又停办，其到校的师资、设备就地划拨兰州铁道学院。学院筹建的具体工作在铁道部、甘肃省的共同领导下进行。1958年5月，成立了"兰州铁道学院筹建委员会"。时任铁道部副部长刘建章任主任委员，铁道部人事教育局局长孟华任副主任委员（兼兰州铁道学院院长），第一铁路工程局局长李伯海、第一铁路设计院院长张学儒、兰州铁路局局长孙鲁光、唐山铁道学院院长顾稀、北京铁道学院副院长李德仁、第一铁路设计院总工程师雷从民、兰州铁道学院院长助理兼基建处处长何英杰等七人为委员会委员。兰州铁道学院与唐山铁道学院、北京铁道学院具有历史渊源，是“血缘”亲属。兰州铁道学院与唐山铁道学院、北京铁道学院同根同源，历史沿革一脉相承，相互交流共同发展。学院的组建采取由久负盛名的老校“系科对口支持”的方式，因而初建之始就拥有师资的雄厚基础，也使学院得以直接承扬京、唐两院在长期办学中形成的良好校风。
1959年1月，学院向铁道部申请建立了“中国铁道科学研究院兰州分院”，受中国铁道科学研究院和兰州铁道学院的双重领导。6月铁道部在全路高等学校内确定3所重点学校，为唐山铁道学院、北京铁道学院、兰州铁道学院。4月，“中国铁道科学研究院兰州分院”改为“兰州铁道科学研究所”，下属研究室调整为7个。
1961年1月，根据铁道部命令学院设立科研处，撤销“兰州铁道科学研究所”。4月铁道部确定5所全路重点高等院校：北京铁道学院、唐山铁道学院、兰州铁道学院、长沙铁道学院、南京铁道医学院。
建校伊始，根据铁路建设需要，成立了铁道建筑、铁道桥梁及隧道、铁道运输、铁道电机、铁道机械5个系，共设置了铁道运输、铁道建筑、内燃机车、铁道车辆、桥梁与隧道、铁道通信、铁道信号7个本科专业。其中，铁道运输系、铁道电机系由北京铁道学院负责组建，铁道建筑系、铁道桥梁与隧道系、铁道机械系由唐山铁道学院负责组建。中国铁道运输学科奠基人之一的林达美教授（留美学者）、著名桥梁专家胡春农教授（留英博士，英国皇家科学院Royal Society院士）、著名铁道轨道专家沈智扬教授、著名有线通信专家孙祺荫教授、著名机械专家张殿执教授、著名无线电技术专家班冀超教授、著名数学家赵祯教授等340多名教职工从京、唐两校成建制地调入学校。兰州铁道学院被党中央国务院列入原苏联重点援助项目，铁道部抽调了一大批留苏科学技术博士和专家充实教师队伍，从同济大学和中南土木建筑学院抽调一批教师来校工作，从而在建校之初就奠定了铁路特色专业的主干地位和专业师资基础。当初，铁道部选定兰州市郊北山之麓的一片荒滩为永久性校址。学校初建恰又遭遇三年困难时期，面对风沙、寒冷和饥饿的挑战，亲历延安生活的老院长贾冰岩、老书记周道远，带领师生发扬“自力更生、艰苦奋斗”的延安精神，平整土地，修盖校舍，建造家园，走过了树木树人的艰辛创业之路。昔日的荒滩而今已变成树木葱茏、绿草成茵的美丽校园，学校背靠的北山也不再黄土秃裸而绿树成片。来自京、唐两校的一批老教师，几十年如一日，甘于淡泊，勤勉敬业，矢志不渝，身体力行，使交大“起点高、基础厚、重实践、要求严”的优良办学传统传承至今。学校始终坚持贯彻铁道部“严字当头、铁的纪律、团结协作、优质服务”的路风建设方针，坚持从严治校，规范管理，培养出一批批胜任行业工作的工程师。在沧桑励洗的五十几年办学历程中，延安精神、交大传统、铁路路风相互交融，反复涤荡，凝炼成“奋发向上、艰苦朴素、刻苦钻研、严谨治学”的校风，铸就了体现时代特征的“团结拼搏、开拓进取”的大学精神。新中国铁路建设迫切需要大批铁路技术人才，我国于1958年创建了新疆铁道学院，后来并入兰州铁道学院。兰州交通大学的成立，与我国铁路建设事业的发展密切相关。第二个五年计划期间，经过党中央、国务院批准创建兰州铁道学院，是对全国铁路高等教育布局所作的适应性调整，旨在为西部培养铁路建设急需的工程技术人才，并与兰州铁路局、西北铁路科研所、第一铁路工程局、第一铁路勘察设计院、兰州机车厂等单位一起，共同构成集人才培养、科学研究、设计施工、生产运营为一体的西北铁路建设体系。
50年代末至90年代末，学校隶属中华人民共和国铁道部领导，实行行业办学管理体制。1996年9月，经铁道部批准，全国铁路四大继续教育基地之一的“铁道部继续教育西北基地”正式在兰州铁道学院挂牌成立。其主要任务是对全国铁路工程技术人员和管理干部进行知识更新、补充、扩展和强化的培训。1978年，开始招收全日制硕士研究生。1981年，经国务院学位委员会批准，成为中国首批硕士学位授予单位。
2000年，兰州铁道学院脱离铁道部，实施“中央与地方共建，以地方政府管理为主”的管理体制，学校由铁道部划转甘肃省管理。3月，学校按新的管理体制运转。
2001年，甘肃省石油化工学校整体并入铁道部重点高校兰州铁道学院。
2003年4月16日，教育部同意兰州铁道学院更名为兰州交通大学。
