自1980年代起，东方红21型液力传动内燃机车一直是昆河铁路、昆石铁路、蒙宝铁路的主力机车，担当所有客运、货运、调车任务。随着机车逐步老化，至1999年后陆续有20台东方红21型内燃机车报废。此外，由于东方红21型机车功率较小，成为提高米轨铁路运能的最大障碍之一。为了寻找替代车型，因此中华人民共和国铁道部于2001年6月，要求四方机车车辆厂研製新一代採用电力传动的东风21型米轨内燃机车。2002年4月，东风21型机车总体设计方案通过了技术设计审查；同年8月完成了施工设计，开始投入试製；同年9月至10月，转向架构架与车体钢结构分别完成了静强度试验。

东风21型0007号机车与东方红21型机车重联牵引货运列车

2002年12月，首两台东风21型机车样车先后完成组装，并于2003年1月由四方厂完成了初步试验，同年3月交付昆明铁路局开远机务段试用。

东风21型机车为六轴米轨内燃机车，採用低合金钢整体承载结构棚式车体，设双侧贯通式内走廊、双端司机室。机车车体从前到后依次为第一司机室、电气室、辅助传动室、动力室、冷却室、辅助电气室和第二司机室。电气室内设有高压、交流、控制电器的独立电器柜；辅助传动室设有电阻制动柜、主整流柜、牵引电机通风机、直流起动发电机、交流辅助发电机、总风缸等设备；动力室在机车中部，安装了一套柴油发电机组，以及空气滤清器、膨胀水箱等辅助装置；冷却室内设有V型结构的散热器、风扇及螺桿式空气压缩机；辅助电气室设有蓄电池组。车底两台转向架之间设有燃油箱。

东风21型0008号机车牵引建水古城小火车在临安站

机车装用一台卡特彼勒公司的3512B型柴油机，为12汽缸、四冲程、电子燃油喷射、废气涡轮增压的V型高速柴油机，具有耗油低、尺寸小、重量轻的特点，适合米轨机车使用。汽缸直径170毫米，活塞冲程215毫米，额定转速为每分钟1500转，装车功率为1455千瓦。

机车採用交—直流电传动，採用JF219A型三相交流无刷励磁同步发电机和ZD126型直流牵引电动机。柴油机通过弹性联轴节直接驱动一台三相交流同步牵引发电机，通过硅整流装置把牵引发电机发出的三相交流电整流为直流电，再将电能输送给两台转向架上的六台并联的直流串励牵引电动机，通过传动齿轮驱动车轮。

东风21型0012号机车牵引开远市南北轨道交通公交列车在开远站

机车走行部为两台完全相同的三轴自导向径向转向架，其径向调整机构原理与东风8B型7001号机车的径向转向架大致相同，具有车轮磨耗低、曲线通过性能好的优势。一系悬挂与轴箱定位採用单拉桿双弹簧配垂向减震器，二系悬挂为转向架构架上的旁承橡胶弹簧。牵引电动机採用滚动轴承抱轴式半悬挂。