学校创建于1951年，1958年至1963年举办本科教育，1994年全国首批举办高等职业教育，1999年郑州铁路机械学校、郑州铁路卫生学校、郑州铁路教育学院和郑州铁路师范学校合并为郑州铁路职业技术学院。
据2021年11月学校固定资产总值 14.54 亿元，教学仪器设备资产总值 3.7 亿元 ，图书馆藏书116.83万册；开设68个专业。
2021年11月学校占地 1600 余亩，建筑面积 40 余万㎡，全日制在校生 22000 余人。共有 16 个教学院（部）和 6 个书院， 交通运输、医药卫生、电子信息、土木建筑、装备制造、财经商贸、文化艺术、旅游、食品药品九大类 49 个专业协调发展，形成了主干的轨道类、医护类专业，精干的人文艺术类专业布局。
1999年，郑州铁路机械学校、郑州铁路卫生学校、郑州铁路教育学院和郑州铁路师范学校合并为郑州铁路职业技术学院。
2000年开始，学院在重新完成定岗定编定责工作的基础上，开展了以加强教学管理为主线、以实施全员监控为手段、以全面提高教育质量为目标的管理机制改革。
2005年，划转河南省，现为河南省省管高校。
2008年，完成铁道部接触网高级工、郑州铁路局单司机值乘培训班和站车红十字救护员任务1100余人。
2009年2月，经河南省教育厅批准，成立了以该院为依托、相关铁路企业参加的郑州铁路高等职业教育集团。
2010年11月30日，学校被教育部、财政部确定为国家骨干高职院校立项单位。
2014年5月，通过国家骨干高职院校建设项目省级验收。 
2015年7月，入选《2015中国职业教育百强》。
2018年12月25日，河南省人民政府下发豫政文〔2018〕160号文，批准由郑州铁路职业技术学院与俄罗斯交通大学合作设立郑州亚欧交通职业学院，初期在郑州铁路职业技术学院幸福路校区进行办学。 
2019年7月，被教育部认定为国家优质专科高等职业院校。 12月，被教育部、财政部列入第三类高水平专业群建设单位（B档）。 
2020年7月，入选高校心理健康教育试点单位名单。 
2021年9月30日，通过教育部职业教育与成人教育司组织的现代学徒制第三批试点验收。