战争起初德国海军战果颇多，击沉不少同盟国商船，但因为希特勒对水面舰队始终印象不佳，认为其建造缓慢且战果小；而潜艇部队建造速度快，还在法国陷落而取得西部港口后，对英国发动大规模的潜艇战中取得一系列丰硕的战果。德国海军随着战事的进行，开始将战力中心自水面舰移往潜艇部队的“吨位战”，而前者逐渐转为存在舰队的功能。德国海军的潜艇数量在战争爆发时是当时世界海军列强中最少者，但因为潜艇总司令卡尔·邓尼茨以狼群战术、先进的通信制度和战略规划而取得所有交战国潜艇部队里最大的战绩。到了1943年，德国潜艇在大西洋越来越力不从心，盟军不但破解了密码机和开发多种先进反潜武器，如更先进的声纳、雷达、深水炸弹，还投入了大量护卫航空母舰和反潜战斗群进行护航；同年5月，德国潜艇因为损失过高而放弃了狼群战术，改採单舰巡弋

苏德战争开始后，1941年8月初，苏联最高统帅部。库兹涅佐夫将一张特製的波罗的海地图摊开在史达林面前。图上，一条清晰的直线赫然画在厄塞尔岛与柏林之间。面对迷惑不解的史达林，他将自己的计画和盘托出：使用海军航空兵轰炸柏林！

库兹涅佐夫还没说完，喜怒不形于色的史达林一脸惊讶：提出这一建议需要足够的勇气和胆识！库兹涅佐夫当然也清楚，执行这样的任务必须挑选最勇敢的飞行员，带上足够多的燃油，採取最有利的飞行高度，充分利用飞机的最大活动半径，无论遇到什幺情况投弹后都要毫不迟疑地沿直线返航，否则就只能在敌领土降落……但是，一旦轰炸成功，其意义将不可估量。这样的冒险，值！

在详细听取了库兹涅佐夫的说明和论证之后，史达林锐利的目光扫视了这位年轻的海军中将片刻，重重地点了点头，嘱咐说：“你要亲自负责完成这个战役！”

1941年8月7日夜。15架满载油料和炸弹的飞机从厄塞尔岛滑离跑道，直奔西南方向飞去。8日凌晨，第三帝国首都柏林沉浸在一片寂静之中。被戈培尔的宣传搞得晕头晕脑的观察哨值班员们，连做梦都没有想过他们的头顶上会出现苏联飞机，当他们喋喋不休地发出信号，询问“你们是哪个部队的飞机？”“飞到哪里去？”时，15个“不速之客”已飞抵柏林市中心上空，将7500公斤炸弹投向了目标，随即掉头便走。返航途中，兴奋的飞行员们已完全把敌人漫天搜寻的探照灯，四处飞舞的高射炮弹抛在脑后。

首次轰炸柏林成功。接着又是9次行动。正为战场上的胜利而兴奋不已的希特勒遭此打击，发出了野兽般的嚎叫：“必须消灭苏联海军！占领苏联所有海军基地！”

苏联海军没有被消灭。北方、黑海、太平洋舰队仍在继续作战，波罗的海舰队则撤往喀琅施塔得。波罗的海舰队只控制着列宁格勒沿岸的狭小海域。9月，库兹涅佐夫来到列宁格勒看望舰队官兵。此后，该舰队的岸炮、舰炮、水兵都一起投入列宁格勒保卫战。1941年10月5日，库兹涅佐夫忍痛签署解散经过英勇作战而损失严重的平斯克区舰队的命令。

卫国战争使苏联海军的作战组织形式得到发展。作为海军总司令，库兹涅佐夫向最高统帅部提出坚守敖德萨的建议，组成“敖德萨防御地域”。陆海空军部队在敖德萨坚守72天，10月中旬才撤退。接着，塞瓦斯托波尔防御地域组成。史达林和库茨涅佐夫签署了保卫该城的训令。根据海军总司令的建议，黑海舰队司令菲利普·谢尔盖耶维奇·奥克佳布里斯基被任命为指挥官，负责指挥该地域内的陆海空军，保卫塞瓦斯托波尔也成为整个黑海舰队的事业。

库兹涅佐夫的海军人民委员部奉命撤出莫斯科，只留下最需要的人员。1941年10月18日 ，国防委员会决定组建25个海军步兵旅。库兹涅佐夫下令各舰队抽调4万人作为骨干。12个海军步兵旅、团迅即成为保卫莫斯科的重要力量之一。1942年春天，海军陆战队正式成为苏联海军的组成部分。

战争的第二年，战局对苏军仍十分严峻。在北方，北方舰队承担着护运盟国舰队的任务，经常与德国舰队发生激战。波罗的海舰队在列宁格勒附近仍处于胶着状态。在南方，塞瓦斯托波尔最终失守，但黑海的制海权仍掌握在黑海舰队的手中。

1943年，苏军在史达林格勒取得转折性的胜利，苏联海军的任务也发生了变化。库兹涅佐夫下令黑海舰队打击敌军的交通线，保障苏军海上运输。这年春天，库兹涅佐夫两次来到黑海，为反攻选择适当的登入场。8月中旬，库兹涅佐夫受史达林委派再次来到黑海考察，选择新罗西斯克作为登入场。9月9日，登入成功。10月20日，库兹涅佐夫受命来到黑海，组织海军参加解放克里米亚的战斗。11月，刻赤解放。

在战争爆发的两年半中，苏联海军又重新建立亚速海、奥涅加等7个区舰队。海军航空兵也做了改编：取消混编航空兵旅，组建歼击航空兵师、轰炸航空兵师、强击航空兵师和水（鱼）雷航空兵师。这些措施提高了苏联海军的战斗力，为粉碎敌人进攻做出了贡献。

1944年初，德军对列宁格勒的包围被打破。为了鼓励海军将士，在库兹涅佐夫的主持下，海军人民委员部设立乌沙科夫勋章、纳希莫夫勋章和奖章。此举得到最高苏维埃的批准。解放克里米亚的战役于1944年4月8日开始。5月12日，塞瓦斯托波尔为苏军收复。库兹涅佐夫再次来到黑海，检阅了黑海舰队。此时，苏军早已冲出国境，盟军第二战场也已开闢。卡累利阿被占领，苏联海军也在乘胜前进。