詹姆斯·J·安格尔顿出生于美国爱达荷州的博伊西，是詹姆斯·休·安格尔顿（James Hugh Angleton）以及卡门·梅赛德斯·莫雷诺（Carmen Mercedes Moreno）的儿子。他的父母在相识于墨西哥，其时他的父亲是约翰·潘兴（John Pershing）将军麾下的一名骑兵军官。在第一次世界大战前，詹姆斯·休·安格尔顿购买了NCR公司在义大利的专营权，并且成为了美国商会的负责人并随之其加入了战略情报局（Office of Strategic Services, OSS）。

由于其父生意的关係，安格尔顿在义大利的米兰度过了他童年的大部分时光。在回到美国就读于耶鲁大学之前，他曾经在英格兰的马尔韦恩学院（Malvern College）寄宿学习。在耶鲁学习期间，安格尔顿同里德·惠特莫尔（Reed Whittemore）共同主编了文学刊物《怒火》（"Furioso"），不仅刊登了大量战争期间脍炙人口的诗作，并自己创作了部分诗歌发表。他同着名诗人如埃兹拉·庞德（EzraPound）、爱德华·艾斯特林·卡明斯（Edward Estlin Cummings）、托马斯·艾略特（Thomas Stearns Eliot）保持着大量的通信联繫，并且深受威廉·燕卜荪（William Empson）作品的影响。在耶鲁时，安格尔顿通过梅纳德·马克（Maynard Mack）接触到了新批判主义，后来在哈佛大学攻读法学学位时，在诺曼·福尔摩斯·皮尔森（Norman Holmes Pearson）的影响下，对新批判主义做了更加深入的研究。1943年03月，安格尔顿加入了美国陆军，并于07月同瓦萨学院（Vassar College）的学生茜赛莉·奥特雷蒙特（Cicely d'Autremont）结婚。他们在维吉尼亚州阿灵顿郊外的小石泉（Rock Spring）定居。

第二次世界大战期间，安格尔顿在皮尔森的领导下任职于战略情报局伦敦办事处反间谍部门（Counter-Intelligence Branch (X-2) of the Office of Stragegic Services in London），在那里，他结识了着名的双面间谍金·菲尔比（Kim Philby）。1944年02月，安格尔顿担任了X-2伦敦办事处义大利专案负责人，11月他调任义大利任职秘密反间谍局（Secret Counter-Intelligence,SCI）Z部门负责人，专门负责对德军无线电通讯的拦截。二战结束时，他已经是X-2在义大利全境的最高负责人。战争结束后，他留在义大利，构建了同其它情治机构的联络网，并且在1948年义大利大选中扮演了重要角色（美国支持的基督教民主党击败了前苏联支持的义大利共产党成为了义大利的执政党）。安格尔顿“成功的同犯罪团伙，前法西斯右翼分子以及梵蒂冈建立了合作关係，不仅边缘化了义大利共产党，同时促使美国国会最终下定了决心建立了中央情报局。”

回到华盛顿后，安格尔顿任职于OSS撤编后分散开的各大情治机构，并最终成为了中央情报局的创始人之一。1949年05月，他被任命为CIA特别行动办公室（Office of Special Operations）A事务主管，主要负责境外情报蒐集及CIA对外联络。1951年初，安格尔顿负责同以色列情治机构摩萨德（Mossad）及辛贝特（Shin Bet）联络。这段“以色列情谊”对他余下的职业生涯产生了至关重要的作用。在接下来的五年里，安格尔顿参与重组了新的中情局，并在一定程度上协助了弗兰克·威斯纳（Frank Wisner）在阿尔巴尼亚、波兰以及其它一些国家的“反击”行动，虽然安格尔顿在这些行动策划上十分谨慎，但所有行动无一例外都以失败告终。
他同他于二战期间结识的老朋友、英国同行、时任英国秘密情报局（即军情六处）驻华盛顿负责人金·菲尔比关係密切。安格尔顿在华盛顿大量发展社会关係，诸如菲尔比之类的国际同行、诗人、画家以及记者。1951年，菲尔比的同事盖伊·伯吉斯（Guy Burgess）和唐纳德·迈克林（Donald Maclean）叛逃至前苏联。在后来的调查过程中，由于在破解了苏联的通讯密码，菲尔比受到高度怀疑，由此被调离华盛顿返回伦敦。

1954年，艾伦·杜勒斯出任中情局局长，提名安格尔顿为反间谍部门负责人。在这个职位上，安格尔顿贡献了他的余生。杜勒斯同时也让安格尔顿继续负责协助境外情治活动的开展。总体上，安格尔顿在中情局的职责可以分为三部分：境外情治活动、反间谍以及国内情治活动。

安格尔顿负责的境外情治活动主要是由以色列科，“洛夫斯通帝国”（Lovestone Empire），以及一个特勤小组完成。安格尔顿对于以色列的情报非常有兴趣，他认为可以从以色列情治机构那里获得大量的流亡至以色列的人们关于苏联和其它第三世界国家的情报。安格尔顿同以色列情治机构的联繫在获得尼基塔·赫鲁雪夫（Nikita Khrushcev）于1956年苏共政治局会议上批判约瑟夫·史达林（Joseph Stalin）的讲话内容上起到了重要作用。“洛夫斯通帝国”是一个利用秘密资金支持全球其它国家及组织进行反共活动的项目，由前美国共产党及工会领导人杰伊·洛夫斯通（Jay Lovestone）负责。最终情况由单线情治人员（特别是义大利科）向安格尔顿直接汇报。根据历史资料来看，有大量境外活动同安格尔顿的小组有关，例如东南亚及加勒比海地区的行动。

安格尔顿的首要职务是CIA反间谍部门负责人。他投入了极大精力以鉴别及预防渗透入美国情治机构的苏联或者其它东欧国家的情治人员，并且对出版刊物等予以严密关注以确保共产主义不会通过文学等形式流入美国。渗透入美国情治单位的他国情治人员被称为“鼹鼠”，而反间谍部门的探员们则被称为“抓鼹鼠的人”。有三本着作详细阐述了安格尔顿的反间谍工作，分别是汤姆·曼歌德（Tom Mangold）的《冷战斗士：詹姆斯·杰萨斯·安格尔顿：CIA的反间谍大师》（"Cold Warrior: James Jesus Angleton: The CIA's Master Spy Hunter"）、大卫·C·马丁（David C. Martin）的《荒野之镜：阴谋、欺骗、以及秘密摧毁了冷战中两位最重要的特工》（"Wilderness of Mirrors: Intrigue, Deception, and the Secrets that Destroyed Two of the Cold War's Most Important Agents"）以及大卫·怀斯（David Wise）的《抓鼹鼠的人：秘密搜捕蚕食CIA的叛徒》（"Molehunt: The Secret Search for Traitors that Shattered the CIA"）。

秘密情治机构有两个基本功能：蒐集秘密情报，通常是从其它情治机构窃取获得，这是情治工作的基本特质；另一项是保护秘密及反渗透，即通常所说的反间谍。这就在那些负责招募并管理探员及间谍及那些负责防止其它情治机构人员渗透的官员们之间形成了一种微妙并紧张的局势。反间谍部门负责人的工作描述为防止其它情治机构情治人员对我情治机构渗透。安格尔顿认为所有情治机构都是可能被其它情治机构所渗透并对此坚信不疑。相反的假设是，如果工作万无一失，没有被渗透，就会导致本方情治人员容易产生自满等情绪，而这种情绪又会促使敌方情治人员对本方渗透。审慎要求渗透假设。除了从基本原则如扣留审讯外，安格尔顿有着直接渗透甚至被渗透的经历。如在二战中曾负责拦截并破译德国情治机构通讯密码，被金·菲尔比及唐纳德·迈克林等人领导的“剑桥间谍”对美国及英国情治机关的成功的直接及间接渗透并导致了大量重要情报流向共产主义及第三世界国家。菲尔比利用安格尔顿对其的信任所取得的成功令安格尔顿此后对所有“潜在问题”都要反覆仔细地核查。菲尔比被确认为苏联间谍后逃离了对他的抓捕。菲尔比后来称安格尔顿为“伟大的对手”。在菲尔比暴露前，只有安格尔顿的朋友、前联邦调查局（Federal Bureau of Investigation）探员及中情局官员威廉·金·哈维（William King Harvey）曾怀疑过菲尔比是苏联的间谍。

安格尔顿在CIA的职务，他同理察·赫尔姆斯的密切关係，特别是他的经历及性格，令他影响极大。如同所有的官僚机构一样，他的影响力给他带来了同他观点极为相左的人。“安格尔顿的人”和“反安格尔顿的人”之间的冲突在反间谍方面逐渐扩大。而这种冲突在处理两个苏联叛逃者阿纳托利·戈利岑（Anatoliy Golitsyn）和尤里·诺森科（Yuri Nosenko）的问题上达到了顶点。

虽然戈利岑是个值得怀疑的投诚者（他供述英国首相哈罗德·威尔逊（Harold Wilson）是克格勃（KGB）的间谍），安格尔顿依然认为他对CIA提供了重要的情报。在供述中，戈利岑声称CIA已经被克格勃严重渗透。后来戈利岑总结CIA未能完全採信他的情报的原因时认为是由于他所提供的情报被苏联潜伏在美情治机构的特工所误导，并限制了他对苏联大使馆职员相片的审查以甄别克格勃特工以及拒绝其谈论克格勃的战略。在戈利岑向军情五处（MI5）提供了这些情报后，MI5将其转交给了安格尔顿，在通过了测谎仪检验后理察·赫尔姆斯同意安格尔顿负责验证戈利岑所提供的情报并给予了相当高的关注。

1964年，一个活动于瑞士日内瓦的克格勃特工尤里·诺森科由于被发现是一名双重间谍而要被召回莫斯科，他坚持要变节到美国。虽然由于CIA并没有确认克格勃对其的召回命令而使他的可信度值得怀疑，诺森科依然被允许投诚。诺森科提供了两项富有争议的情报：戈利岑是一名假的变节者，实际上他是克格勃的一名间谍；另一个则是他有刺杀翰约·菲茨杰拉德·甘迺迪（John Fitzgerald Kennedy）总统的兇手李·哈维·奥斯瓦尔德（Lee Harvey Oswald）在苏联居住时期同克格勃接触的情报。更富有争议的是，前纽约州众议院、律师马克·莱恩（Mark Lane）声称安格尔顿可能直接参与了对甘迺迪的刺杀。根据莱恩所称，安格尔顿领导的反间谍部门有一个由美国海军陆战队（United States Marine Corps,USMC）中校博瑞斯·派什（Boris Pash）领导的暗杀小组。这个暗杀小组经常执行反间谍部门的非法的以除掉公共威胁及敏感人物的命令。

针对诺森科的第一份情报，戈利岑称从一开始克格勃就试图通过其他“变节者”来诋毁他。对于第二份情报，诺森科告诉他的审问官员他曾经亲自负责奥斯瓦尔德的项目，而克格勃认为奥斯瓦尔德的精神问题让他无法胜任这项行动。诺森科称克格勃甚至从未听取过曾经奥斯瓦尔德在美国海军陆战队服役期间关于其在U-2侦察机（U-2 Spy Plane）上工作的汇报。虽然其它的克格勃情报来源证实了诺森科的情报，但是诺森科却多次没能通过测谎仪检验。基于其称从未对询问过奥斯瓦尔德关于U-2侦察机的情况及其对U-2程式的熟悉程度，以及其它一些情（诺森科声称自己是一名中校，实际上他的实际军衔要低于此）况进一步的对诺森科的信誉提出了考验，安格尔顿并没有反对时任苏联局的负责人大卫·墨菲（David Murphy）将诺森科单独羁押了三年半的时间。
同其它案件不同，安格尔顿并没有直接负责对诺森科的拘留或对此案件进行保密。除了诺森科事件外，1975年洛克菲勒委员会（Rockefeller Commission，也被称为美国总统调查中央情报局美国境内活动委员会（President's Commissionon CIA Activities within the United States）），同中央情报局保卫处（负责保障叛逃者的安全工作），美国法务部长办公室，联邦调查局，美国情报委员会（the United States Intelligence Board），以及众议院的一个委员会都赞成并批准了对诺森科的羁押。而诺森科却从未改变他的说辞。

安格尔顿开始极度怀疑中央情报局已经被克格勃的特工所渗透。戈利岑让安格尔顿相信克格勃于1958年到1959年建立了一个由其高层直接指挥的双重间谍网，其中大部分成员都是中央情报局和联邦调查局的特工。由于安格尔顿对这个说法的坚持，时任联邦调查局局长埃德加·胡佛（J. Edgar Hoover）最终决定遏制同中央情报局的合作。安格尔顿同其CIA的同事的冲突也不断升级，尤其是同行动局的管理层更是矛盾不断。他质疑行动局对于情报的收集能力以及工作效率，却不向其同事们阐述他对克格勃战略与组织方面的意见。而时任CIA局长的理察·赫尔姆斯也无意容忍工作处于瘫痪状态。曾为克格勃少校的戈利岑整理了一份其对于克格勃认知的报告。中情局的高层们在1968年认可了这份报告，而安格尔顿最终失去了对戈利岑的直接管理权。

在越南战争和美苏关係缓和期间，安格尔顿相信战争是必要的，并认为从战略角度考虑恢复与中国的基本关係完全是克格勃导演的骗局，中苏分裂完全是假象。他高度怀疑亨利·基辛格（Henry Kissinger）是克格勃的卧底。在这期间，安格尔顿的反间谍部门在时任总统林登·詹森（Lyndon Johnson）的指示下进行了一项最全面的境内秘密监控侦察行动，及“混沌行动”（Operation CHAOS）。他们一开始坚信1960年代和1970年代的反战运动以及民运运动得到了外国势力的资金注入及支持。虽然苏联方面的确对这些运动施加了影响，但CIA最终并没有发现其间的关联。

时任CIA局长的威廉·科尔比（William Colby）为了遏制安格尔顿的疯狂举动，开始接管了其在以色列设立的秘密行动账户，这直接削弱了反间谍部门势力的势力。之后，科尔比要求安格尔顿辞职。通过后来的解密，安格尔顿其时正在领导CIA协助以色列其核武器发展的计画。

自1960年代到1970年代，安格尔顿怀疑并指控了大量外国领导人为克格勃的间谍。他两次通知了加拿大皇家骑警(Royal Canadian Mounted Police, RCMP)他认为时任加拿大总理莱斯特·伯勒斯·皮尔森（Lester Pearson）及其继任者皮埃尔·艾略特·特鲁多（Pierre Trudeau）是苏联的特工。1964年，迫于安格尔顿的压力，RCMP拘留了皮尔森的好友，同时也是加拿大前任驻苏联大使的约翰·沃特金斯（John Watkins），而沃特金斯则在羁押中去世，随后CIA解除了对沃特金斯的怀疑。安格尔顿同样指控瑞典首相奥洛夫·帕尔梅（Olof Palme）、西德总理维利·勃兰特（Willy Brandt）、以及英国首相哈罗德·威尔逊（Harold Wilson）利用他们对北大西洋公约组织（NATO）机密的访问许可权而将机密透漏给苏联。勃兰特本人则由于其一个重要的助手被发现是东德情报组织史塔西（Stasi）的特工而于1974年引咎辞职。

安格尔顿的辞呈报告于1974年的圣诞节平安夜被通过。与此同时，时任总统杰拉尔德·福特（Gerald Rudolph Ford, Jr.）亦要求科尔比宣布CIA内部将对国会特别委员会的指控进行独立调查。在安格尔顿辞职后不到一个星期的时间，他在反间谍部的三名高级助手反间谍部副部长雷蒙德·罗科（Raymond Rocca），反间谍部主管威廉·J·胡德（William J. Hood），以及安格尔顿的行动处处长纽顿·S·米勒（Newton S. Miller）则被CIA强迫退休。而反间谍部则从300人的规模裁剪至80人。

塞莫尔·赫什（Seymour Hersh）在《纽约时报》（"New York Times"）上发表了关于安格尔顿领导下的美国境内反间谍活动主要针对反战示威者及其它境内异议组织的文章。赫什表示安格尔顿随后致电给他声称由于他的文章而导致其妻子离开了他。赫什的一个朋友知道这个讯息后立刻嘲笑了安格尔顿的指控，表示安格尔顿的妻子西塞莉（Cicely）早就离开了安格尔顿，随后却不得不回到安格尔顿的身边，因为她深知安格尔顿是为CIA工作的。实际上他们在他们分居后的很长一段时间里，他们依然保持着友谊，并一起去安格尔顿最喜爱的一个钓鱼场所度假。在那里他的公开身份是一个钓鱼爱好者及一个河流观测者，而实际上他的真实身份早已为人所知。在华盛顿一直由传言称威廉·科尔比本人就是克格勃的间谍，但一直没有人将这些言论的起源归咎于同他长久不和的安格尔顿。1975年，安格尔顿被授予中央情报局第二高荣誉——杰出情报奖章（Distinguished Intelligence Medal）。

在安格尔顿下台之前，戈利岑就被认为是让CIA名誉扫地的原因之一，但两人一直保持着对彼此的信任。他们曾请求知名作家、曾同为CIA特工的小威廉·法兰克·巴克利（William F. Buckley, Jr.）为他们写一部名为《旧时代的新谎言》（"New Lies for Old"）的书，内容是进一步阐述苏联是有计画的製造了自己衰落的假象从而使其敌人拥有对取得冷战的胜利而充满盲目的自信。巴克利拒绝了这一要求，但之后写了一部关于安格尔顿的小说——《间谍时代：詹姆斯·耶萨斯·安格尔顿的幻灭》（"Spytime: The Undoing of James Jesus Angleton"）。

"Deception is a state of mind and the mind of the State."

—— James Angleton

“欺骗既是人的一种思维方式，同时也是国家的一种理念。”

——詹姆斯·安格尔顿

安格尔顿在二战期间于义大利任职的经历被认为是其人生及中情局生涯的重要转折点。他在那里帮助相关方面收回了纳粹从各欧洲国家及非洲劫掠回的珍宝。安格尔顿同义大利黑手党的私人关係同样在第二次世界大战后给予了CIA极大的帮助与便利。安格尔顿其时的主要工作是领导当地的CIA分部颠覆义大利的选举，防止义大利共产党及其相关政党在议会中获取政治权利。

随着时间的推移，安格尔顿工作上的热情和偏执产生了对于CIA来说产生了不利的因素，即使不是毁灭性的打击，也是适得其反的效果。在他离职后，反间谍部的力量被极度削弱。一些人认为正是因为这种矫枉过正才促成了诸如奥德里奇·艾姆斯（Aldrich Ames）、罗伯特·汉森（Robert Hanssen）及其他一些诸如CIA和FBI等情治单位的特工有机会向他国变节。虽然各大情治单位在羞辱了丘奇委员会（Church Committee，亦被称为美国参议院情报特别委员会，United States Senate Select Committee to Study Governmental Operations with Respect to Intelligence Activities）后迅速地走出了低谷，但种种事件依然证明了安格尔顿在反情报及反间谍领域无人可以替代的作用。知名调查记者爱德华·杰伊·爱普斯坦就提出，如果安格尔顿依然主管反间谍部的话，像艾姆斯及汉森这种苏联的高级间谍根本不可能有机会对美国的情治机构进行如此的破坏。

1970年代对于中央情报局来说是一个动荡的时期。乔治·H·W·布希（George H. W. Bush）担任局长期间，福特总统授权组建了一支在总统境外情报谘询委员会（President's Foreign Intelligence Advisory Board）庇护下的“B小队”（Team B）。这个部门在调查后得出了一份结论，认为中情局及其它美国情治机构在他们的国家情报评估（National Intelligence Estimate）中严重低估了苏联部署在中欧的战略核打击能力。而丘奇委员会对这个结论根本没有理睬。1977年，海军上将斯坦斯菲尔德·特纳（Stansfield Turner）被时任总统吉米·卡特（Jimmy Carter）任命为CIA局长不久即面对对CIA进一步削减的问题。特纳则在其任内和回忆录内让安格尔顿承担了替罪羊的角色。

在安格尔顿和其党羽的调查下，众多的CIA雇员的职业生涯处于了冰点。中情局随后在内部称之为《鼹鼠救济法》（"Mole Relief Act"）的支持下支付了三名被毫无理由裁员的雇员全额的赔偿金与养老金。120名雇员称遭受过停职审查，这其中有50人被立案调查，16人被安格尔顿的人高度怀疑为苏联间谍。

当戈利岑投诚时，他声称CIA的西德分部有一个苏联的高级间谍。这个在克格勃内部的代号为“萨沙”（Sasha）的高级间谍是一个斯拉夫后裔，姓氏以“K”开头而以“斯基”（sky）结尾。安格尔顿坚信这条情报的真实性，所有靠近这个描述的特工都被他怀疑过。

儘管以其的不妥协性及工作中的强迫性而着称，安格尔顿依然获得了其情报业界的同行的高度评价。前辛贝特（Shin Bet）的局长阿莫斯·迈诺（Amos Manor）在一次以色列知名报纸《国土报》（"Ha'aretz"）的专访中就提到了他对于在1950年代安格尔顿为拓展美国及以色列合作所进行的工作的讚赏。迈诺称安格尔顿“对一切都感到狂热”，并“有神秘化的倾向”。迈诺多年后才得知安格尔顿当年拜访他的主要原因是调查他，因为迈诺本人是一个“东欧犹太移民”，而安格尔顿本人认为为了确保美国—以色列情报合作关係的正式，这是一次有必要的“防毒”。

2010年解密的一份由丘奇委员会主导的CIA内部调查报告揭示了安格尔顿在担任反间谍部主管期间其对各项美国政治决策制定及发展所施加的重要影响。这份报告披露了是安格尔顿计画了将美国执法机构和军事组织派驻在其它国家的方案，以此来提高美国的影响力。这份报告同样证实了过去的谣言，即安格尔顿正是着名的大规模境内监控行动“混沌行动”（Operation CHAOS）的负责人。