这个骑士团的创始者最初住在毗邻救世主教堂的耶路撒冷王宫的一角,而救世主教堂的原址是阿拉伯伊斯兰教的一个清真寺,据传此地原是所罗门国王的神殿,“圣殿骑士团”的名称由此而来,有时也译为“神殿骑士团”(The Poor Fellow-Soldiers of Christ and of the Temple of Solomon)。另一种说法是,据说当时的耶路撒冷国王鲍德温二世把犹太教圣殿内一部分院落划予法国骑士们作为驻地,因而得名。
不过事情很快又有了转机,当时波兰的马佐维亚大公康拉德(Konrad von Masowien)企图向北边的库默尔兰(Kulmerland)地区扩张,结果被当地的原住民普鲁士人打败,他不但没能扩张领地,他原先的领地反被普鲁士人攻占了一部分。康拉德很郁闷,于是以宗教为名,号召讨伐库默尔兰(Kulmerland)的异教徒,可是波兰的其它诸侯都不理他,似乎在等着看笑话,那边的普鲁士人十分兇悍,他的军队节节败退。在走投无路的情况下,康拉德向条顿骑士团求援,希望骑士团帮助他征服普鲁士人。
如果说安德烈二世请骑士团帮他镇压库曼雷人是因为无知犯的错,那康拉德请骑士团帮他征服普鲁士人就只能用愚蠢来形容了。当然其它的波兰诸侯也都脱不开干係,要是他们早点帮康拉德一把,康拉德也就不用引狼入室了,最后全都成了受害者。得到这个邀请后,条顿骑士团当然是满口答应,不过他们可不想重複在匈牙利的故事。骑士团大团长赫尔曼·冯·萨尔扎(Hermann von Salza)先跑到神圣罗马帝国皇帝菲特列二世那儿,从皇帝那儿讨到了一份黄金诏书:条顿骑士团有权占有康拉德赠予的土地和他们征服普鲁士人后获得的土地,对骑士团领地的进攻将遭到神圣罗马帝国的严厉惩罚。有了菲特列二世的书面保证,条顿骑士团将名正言顺地占有他们征服的土地。康拉德此时开始后悔了,为了避免条顿骑士团在他旁边扎根,康拉德组织了一个骑士团—普鲁士的基督骑士团,自己讨伐普鲁士人。这次他又失败了,他甚至连自己领地的核心部分都无法守住,此时康拉德只好低头认输。1230年,在他和条顿骑士团签订的条约中承诺:如果条顿骑士团征服库默尔兰(Kulmerland),他将把这块土地永久赠予骑士团。这也就是说条顿骑士团对库默尔兰(Kulmerland)拥有所有权,而非封地—封地的所有权仍然属于君主。1234年,教皇格利高里九世Gregor IX又颁布了黄金诏书,承认骑士团对他们征服的土地的所有权,同时要求他们将当地原住民基督教化。这样,条顿骑士团获得了三重的书面承诺,他们剩下要做的就是征服这块土地了,这显然是他们最拿手的。
骑士团国南面的波兰原本四分五裂,根本不是骑士团的对手。但到14世纪上半叶,波兰在国王瓦迪斯瓦夫一世沃凯太克(Władysław I the Elbow-high,不是Władysław I Herman)的领导下再次团结起来,跟骑士团的关係也变得紧张。1308年骑士团占领但泽和波莫瑞(Pommerellen)使两国之间的关係急剧恶化,即便在1343年的卡里施和约中波兰承认了骑士团国对波莫瑞(Pommerellen)的占领,双方的敌意仍未打消。波兰对骑士团国的仇恨是骑士团国重要的潜在威胁。不过儘管如此,14世纪下半叶,骑士团国在大团长温里希·冯·奈普奥德(Winrich von Kniprode,1351-1382)的领导下达到了最强盛的时期,在1370年他们击败了立陶宛—骑士团在东方主要的敌人。
1410年,骑士团国和波兰-立陶宛联盟在塔能堡附近爆发了一场大规模战役,这场战役是欧洲中世纪历史上规模最大的一次骑士战争。骑士团的兵力要少于联军。骑士团大团长乌尔里克·冯·琼宁根(Ulrich von Jungingen)在战斗中阵亡。骑士团陷入混乱,许多骑士逃离战场。联军抓住这一良机发动冲锋,将骑士团军队击溃。塔能堡一战使骑士团遭受了毁灭性的打击,其意义类似于哈丁战役对于耶路撒冷王国的意义。骑士团国就此走上了衰亡的道路。
路德的宗教改革使骑士团再一次走上历史的分水岭。1511年,来自霍亨佐伦家族的年仅21岁的阿尔伯特(Albrecht of Brandenburg-Kulmbach)被选为条顿骑士团第37任大团长,他也是作为一个军事修会的条顿骑士团最后一任大团长。1520年,由于阿尔伯特(Albrecht)拒绝臣服于波兰,骑士团国与波兰之间爆发战争,骑士团国被击败。郁闷之下,阿尔伯特(Albrecht)回到德意志。