1896年5月4日，北洋铁路总局总工程师C·W·Kinder上书清政府，恳请在山海关建立中国第一所铁路学堂。获得了李鸿章的批准，随即开始策划。11月20日，学校正式定名为山海关铁路学堂。
1900年9月30日，山海关炮台被英军占领，学校校舍遭破坏。山海关铁路学堂被迫停办。
1905年5月7日，清政府决定继续开办铁路学堂，并决定学堂从山海关迁往唐山。10月15日，在唐山火车站以西正式建校，占地192.58亩，并定名为“唐山铁路学堂”。
1906年3月27日，学堂除现有“路科”外，又增设“矿科”，学堂由此而改名为“唐山路矿学堂”。
1912年1月19日，学堂改由交通部管辖，并改名为“唐山铁路学校”。1914年8月，学校又奉命更名为“唐山工业专门学校”。
1920年12月15日，国务会议决定将北京邮电学校、北京铁路管理学校、上海工业专门学校、唐山工业专门学校等四所学校合并成立交通大学。1921年5月1日，交通大学正式成立，规定交大总办事处设在北京，并在京、唐、沪三校分设主任。
1921年7月，唐山学校正式定名为“交通大学唐山学校”，1922年9月，学校又奉命更名为“交通部唐山大学”。
1928年2月，奉交通部令，学校又更名为“唐山交通大学”；同年6月28日，交大又奉命定名上海为第一交通大学、唐山为第二交通大学、北平为第三交通大学。8月11日，交通部决定对交通大学进行改组，同时公布了《交通大学组织大纲》，决定将沪、唐、平三校合称“交通大学”，分设上海、唐山、北平三个学院。唐院因此而更名为“交通大学唐山土木工程学院”。
1931年8月1日，铁道部决定唐院正式更名为“国立交通大学唐山工程学院”，并恢复设立“矿冶工程系”。
1933年4月22日，由于日军入关，战事侵扰，唐山学生无法上课，遂决定唐院南迁上海。其后唐院随之转址江西南昌、湖南湘潭、湖南湘乡杨家滩、广西桂林、柳州、贵州平越，并在平越文庙挂起了“交通大学唐山工程学院”的校牌，正式安定复课。
1944年11月，湘桂被日军攻占，平越告急，校方决定学校就地解散，后到重庆集中。
1945年8月6日，教育部指令唐院暑假后迁往甘肃，遂改名为“国立交通大学甘肃分校”。8月15日，日本投降，唐院迁校甘肃之事作罢。
1946年8月23日，学校迁回唐山校园，并奉教育部令更名为“国立唐山工学院”，确定下设建筑工程系、采矿工程系、冶金工程系、土木工程系及矿冶专修科。
1948年12月12日，唐山解放。1949年7月8日，军委铁道部决定：国立唐山工学院、国立北平铁道管理学院、华北交通学院三校合并，组成“中国交通大学”。唐院也就因此更名为“中国交通大学唐山工学院”。
1950年8月，政务院第46次会议决定：中国交通大学改名为北方交通大学，校部设在北京。毛泽东主席亲自题写了“北方交通大学”的校名。唐院定名为“北方交通大学唐山工学院”。
1956年，政务院决定唐山铁道学院迁往兰州建校，教育部确定学校按在校学生9000人的规模在兰州市选址修建。1956年起，唐院在兰州市安宁区勘测了校址，并正式动工修建了部分校舍。后因故未迁，遂将已建少量的校舍移交给铁道部直属的兰州铁道学院。
1958年，铁道部决定唐院暂不迁校，并决定在兰州唐院所选校址新建一所兰州铁道学院。为此，铁道部报经国务院批准，铁道部下达了“铁人教专腾【58】字第224号”文，并确定兰州铁道学院所需的师资、设备，由唐山、北京两所铁道学院对口支援。1958年7月22日，铁道部教育局下令唐山铁道学院将其所属的给排水教研组的所有教师、设备全部调入兰州铁道学院。
建校伊始，根据铁路建设需要，成立了铁道建筑、铁道桥梁及隧道、铁道运输、铁道电机、铁道机械5个系，共设置了铁道运输、铁道建筑、内燃机车、铁道车辆、桥梁与隧道、铁道通信、铁道信号7个专业。其中，铁道运输系、铁道电机系由北京铁道学院负责组建，铁道建筑系、铁道桥梁与隧道系、铁道机械系由唐山铁道学院负责组建。中国铁道运输学科奠基人之一的林达美教授（留美学者）、著名桥梁专家胡春农教授（留英博士，英国皇家科学院Royal Society院士）、著名铁道轨道专家沈智扬教授、著名有线通信专家孙祺荫教授、著名机械专家张殿执教授、著名无线电技术专家班冀超教授、著名数学家赵祯教授等340多名教职工从京、唐两校成建制地调入学校。兰州铁道学院被国家中央政府国务院列入原苏联重点援助项目，铁道部抽调了一大批留苏科学技术博士和专家充实教师队伍，从同济大学抽调一批教师来校工作，从而在建校之初就奠定了铁路特色专业的主干地位和专业师资基础。
1958年9月，兰州铁道学院正式面向全国招生；1961年兰州建校后的第一批专科毕业生毕业。
50年代末至90年代末，学校隶属铁道部领导，实行行业办学管理体制。
2000年，学校实行“中央与地方共建，以地方政府管理为主”的管理体制。
2003年4月16日，教育部通知，“根据《高等教育法》和《普通高校暂行条例》的有关规定，以及全国高等学校设置评议委员会的评议结果，同意兰州铁道学院更名为‘兰州交通大学’”，5月20日，甘肃省人民政府举行新闻发布会，正式宣布更名决定。5月25日，交大校园里隆重举行了“兰州交通大学”揭牌仪式。
