彭乐是安定人，骁勇善骑射。孝昌元年（525年）八月，彭乐追随柔玄镇民杜洛周起事，知其不能立业，投降大将军尔朱荣，并随其在滏口击破起义首领葛荣。彭乐后又为都督，永安元年（528年）十月，随都督高欢与行台左僕射于晖在瑕丘击败叛魏的泰山太守羊侃。二年（529年）正月，身为于晖所部都督的彭乐率两千骑叛投占据幽州作乱的葛荣余部韩楼，封北平王。尔朱荣遣大都督侯深攻打韩楼，彭乐又叛韩楼而投降侯深。

普泰元年（531年）二月，时任晋州刺史的高欢出兵山东，彭乐随从。六月，从侧面突袭，生擒出城劳军的殷州刺史尔朱羽生。中兴二年（532年）闰三月，尔朱荣从子并州刺史尔朱兆发兵袭击时任丞相、柱国大将军、太师的高欢，史称韩陵之战，彭乐先登陷阵，敌军大溃，彭乐封乐城县公。后以军功，进爵汨阳郡公，除授肆州刺史。

永熙三年（534年）六月，北魏孝武帝正图谋讨伐高欢，高欢上表陈说自己的军事规划，其中提到準备派遣恆州刺史库狄乾、瀛州刺史郭琼、汾州刺史斛律金和“前武卫大将军彭乐”率兵四万渡河。孝武帝意识到高欢觉察到自己的意图了，七月逃奔关中投靠宇文泰。九月，高欢另立清河王世子元善见为帝，北魏分裂为东魏和宇文泰为丞相掌权的西魏。

天平四年（537年）十月，彭乐随高欢西征，两军对阵，是为沙苑之战。高欢想缓战，彭乐气奋请求决战，说：“我军众，贼军少，相当于一百人取一人，机不可失。”高欢听从。彭乐趁醉深入，与宇文泰侄通直散骑常侍、征虏将军宇文护所部交战，被刺伤，肠子流出，不能完全塞回，就截断肠子继续作战，身体数处受伤，宇文护兵败，相枕籍死者万余人。但高欢军势受挫，东魏总体败北于西魏。高欢经常以为告诫。

武定元年（543年）正月，东魏北豫州刺史高慎叛变，宇文泰相救，高欢迎击于邙山，爆发邙山之战。早晨时，候骑说西魏军距离洛州四十里，高欢就在床蓆上边吃乾粮边说：“自应渴死，保待我杀！”于是勒阵以待。彭乐以数千精骑为右翼，冲击西魏军北面，所向之处西魏军奔退，彭乐于是骑马杀入宇文泰大营。有人告称彭乐叛了，高欢说：“乐弃韩楼事尔朱荣，背弃尔朱氏归我，又叛入西。事成败岂在一个彭乐？只是念小人反覆罢了。”不久西北起尘土，彭乐派人告捷，俘虏西魏侍中、开府仪同三司、大都督临洮王元柬、蜀郡王元荣宗、江夏王元升、鉅鹿王元阐、谯郡王元亮、詹事赵善、督将僚佐四十八人，都用绳子系住头颈反绑双手，加以白刃，喊出他们的名字。诸将乘胜斩首三万余。西魏军退，高欢派彭乐追杀。彭乐高喊：黑獭（宇文泰的字是黑獭）休走！宇文泰被追急了，说：“你不是彭乐吗！痴男子！今无我，明岂有你？为何不急回前营收金宝？”于是彭乐拿着宇文泰的一束金带回去，说宇文泰从自己刀下漏过，吓破胆了。高欢诘问，彭乐说了宇文泰的话，说：“不是为了这话放他的。”高欢虽喜其得胜，也为其放走宇文泰而发怒，令他伏在地上，亲自用手按他的头往地上碰，并责问他在沙苑战败之失，数次举刀要落下者三，切齿良久，作罢。彭乐又请求率五千骑去抓宇文泰。高欢说：“你放他是什幺意思？现又说捉他？”命令取绢三千匹压在他身上，就赐给了他。

彭乐与高敖曹都勇冠当时，但司徒、河南大将军、大行台侯景轻视他们，认为他们“皆如豕突（像野猪一样奔突窜扰）”。斛律金长子斛律光初为侯景部下，彭乐对高敖曹说：“斛律家小儿，不可三度将行，后夺人名。”后来斛律光果然出将入相，位极人臣。

武定六年（548年）三月，彭乐与乐恂等在新城与西魏同轨防长史裴宽作战，擒之。时侯景叛乱，西魏仪同三司王思政趁机入据颍川，四月，高澄命时任肆州刺史斛律金督彭乐、可朱浑道元等出屯河阳，断其奔救之路。次年六月，东魏攻克颍川，俘获王思政。颍川易主后，鲁阳以东都依附东魏，彭乐乘胜攻打镇守鲁阳的西魏南荆州刺史郭贤，不能攻克，退军。

彭乐累迁并州刺史。武定九年（549年）八月，高澄被杀，高洋继为丞相。十二月，彭乐被任为司徒。高洋称帝代东魏建立北齐后，天保元年（550年）六月，封彭乐为陈留王，迁太尉。十二月，荧惑星犯房北头第一星及钩钤（星座名，属房宿的辅官）。占卜者说：“大臣有反者。”二年（551年）二月，彭乐被前行襄州事刘章等告发谋反，正好北齐有一本《秘记》有“天王陈留入并州”一语，高洋于是诛杀彭乐。其实这句话说的是刚被西魏封为陈留郡公的杨忠，他后来在对北齐作战时率军杀入并州，他的儿子杨坚后来建立隋朝并追尊他为武元皇帝。

《北史》论曰：叱列平、步大汗萨、薛脩义、慕容俨、潘乐、彭乐、暴显、皮景和、綦连猛、元景安等，策名戎幕，备开夷险，位高任重，鹹遂本诚。

《北史》列传第十九记载：神武厚礼召之，以高昂相拟，曰：“宜来，与从叔为二曹。”曹愠曰：“将田舍儿比国士。”遂率其徒自蓟入海岛。得长人骨，以髑髅为马皂；胫长丈六尺，以为二槊。送其一于神武，诸将莫能用，唯彭乐强举之。

《独异志》记载：时神武帝率乐等十余万人，于沙苑与宇文护战。时乐饮酒，乘醉深入，被刺得肝肚俱出，内之不尽，截去之，复入战。护兵遂败，相枕籍死者三万余人。

《北史》列传第二十三记载：是时,齐国有秘记云:"天王陈留入并州。"齐主高洋为是诛陈留王彭乐。其后,武元皇帝果将兵入并州。

《北齐高祖论》记载：有尉景、段荣、彭乐、窦泰匹、娄昭、薛孤延等共其奔走

《册府元龟》卷四百·将帅部·固守第二 记载：自鲁阳以东皆附东魏，东魏将彭乐因之遂来攻逼，贤抚循将士鹹为其尽力效用，乐不能克乃引军退。

尔朱氏旧将卢曹有勇力，但不愿为高欢所用，逃奔海岛，得到长人的骨头，将其长一丈六尺的胫骨製成二槊，将其中之一送给高欢，诸将都不能用，只有彭乐勉强能举起。

高欢诸子年幼时，高欢想看他们的意志，让他们各自率兵四出，派时任都督的彭乐率甲骑装作攻打他们，高欢长子高澄等都害怕、归服，只有次子高洋勒众与彭乐相斗，彭乐脱下甲冑，向高洋说了情况，高洋仍然把彭乐擒住，献给高欢。

武定四年（546年）十二月，高欢病重，对高澄说：“彭乐心腹难得，宜防护之。”

彭乐、刘贵、韩轨、潘乐、薛孤延是当时并列的勇将。

永安二年（529），获封北平王。

普泰元年（531），生擒尔朱羽生。

中兴二年（532），韩陵之战中，彭乐先登陷阵，大破敌军。

天平四年（537），沙苑之战时，孤身突入西魏军阵，大败宇文护所部，扭转东魏部分败局。

武定元年（543），在邙山之战引兵大败西魏，俘虏西魏王室与高级将领共四十八人。孤身追杀宇文泰。

武定七年（549），彭乐从并州刺史升任司徒。

天保元年（550），改任太尉，封陈留王。

儿子：彭龙韬（正史无载，出现于各地家谱，真实性有待考察）。因父彭乐被诛，潜逃至民间隐居。

女儿：彭夫人（真名不详，《北史 卷十四 列传第二 后妃下》中有载）。

彭乐身世在正式的记载中，已知有元代的欧阳玄编撰的《圭斋文集》中有叙述。

《圭斋文集》卷七中有这样的一段记载：……东汉长平侯宣居淮阳至北齐陈留王乐居安定又八世唐礼部侍郎景直居瀛洲子构云避天宝之难迁江右传四世为安定王玗……

《圭斋文集》中的记载可以看出，彭乐祖上是长平侯彭宣，后人有诸如彭景直、彭构云、彭玕等人。