1949年，在人民解放军解放大西北的强大攻势下，胡宗南率部南逃，国民党部队旅长方子乔率残部逃上华山，在山口要道设下重兵，企图凭藉天险负隅顽抗。解放军某团侦察参谋刘明基率领小分队潜入山区，打听到当地药农常生林曾从山后险径上北峰採药，急忙赶往常家。此时，一伙国民党士兵正在常家抢粮，常生林用斧头砍伤一士兵后逃走。恰巧小分队赶到，夺回粮食，救下常母性命。是夜忽起暴风雨，常家茅草房顶被狂风掀起。侦察员们冒着大雨，用自己的被子盖在屋顶上，又帮助常家修好房子。常母深受感动，遂找回常生林为小分队带路。常生林带领小分队从后山上山，一路上攀悬崖、登峭壁，飞渡天桥险境，趁夜色摸上北峰，突袭守敌。随即展开政治攻势，促使华山咽喉要道千尺幢上的守敌投降。尔后又控制了北峰与西峰之间的通道苍龙岭。方子乔急忙组织西峰部队反扑。侦察队员面对强敌，沉着应战，坚守阵地。正在危急时刻，回团部送信的常生林带大部队赶到，与小分队合力攻上西峰，全歼守山之敌。

电影中刘参谋的原型是“全国特等战斗英雄”刘吉尧。

新中国诞生不久，时任中共中央西北局第一书记、西北军政委员会主席的彭德怀到华山视察，回忆起解放西北的战役，提议拍摄一部攻克华山的电影。西北军区政治部文化部创作组组长兼文艺科副科长的王宗元，亲自组织实施，和任萍以一篇描写刘吉尧事迹的报告文学为基础，执笔改写了《奇取华山》电影剧本。