杨祥大在1970年12月应徵入伍，在厦门边防检查站服役，历任战士、给养员、政治处干事、秘书、办公室副主任、主任、副站长，1991年3月调武警福建省边防总队任参谋长，1992年7月到厦门边防检查站任站长，1996年1月调武警福建省边防总队任总队长。先后被授予武警中校、上校、大校警衔。1998年6月边防检查站由现役制改为职业制，随部队转到公安部出入境管理局厦门出入境边防检查总站任总站长。1998年1月被选为全国政协第八届委员。