四一二蔣介石叛變革命，激起廖乾五的極大憤慨。1927年4月15日，廖乾五、張發(fā)奎等主持召開國民黨第四軍各級黨部執(zhí)監(jiān)委員會議，一致決議“本軍全體同志，誓為前鋒”，討伐叛黨軍人蔣介石。4月18日，國共兩黨聯(lián)席會議決定繼續(xù)北伐。廖乾五同第四軍一起參加了第二次北伐。6月20日前后，廖乾五在漢口向中共中央軍事部部長周恩來匯報工作后，繼續(xù)抓緊四軍政治訓(xùn)練工作。
7月中旬，周恩來在武昌召集黨的活動分子會議，部署從事軍事工作的中共黨員集中南昌、九江一帶，做聯(lián)張（發(fā)奎）反粵的準備工作。周恩來考慮到廖乾五年紀較大，身體不好，準備留下另行安排工作，廖乾五一再表示“堅決要去”。于是周恩來批準了廖乾五前去南昌、九江的請求。
1927年7月23日下午，廖乾五和惲代英到達九江。7月24日，中共中央正式?jīng)Q定在南昌舉行起義，并決定組成以周恩來為書記的前敵委員會，組織領(lǐng)導(dǎo)這次起義。同日，在有葉劍英、葉挺、賀龍、廖乾五、高語罕五人參加的甘棠湖的一條小船上，葉劍英將他在廬山上聽到的汪精衛(wèi)、張發(fā)奎密謀要調(diào)賀軍長、葉師長上山的消息告訴大家。經(jīng)過短時間的磋商，認定這是汪、張扣押賀、葉，罷其兵權(quán)的陰謀，做出了賀、葉不上廬山，不接受張發(fā)奎調(diào)賀、葉部到德安集中的命令，以及賀、葉部隊立即開往南昌的三項決定。甘棠湖上的這次秘密會議，史稱“小劃子會議”。它挫敗了汪精衛(wèi)的陰謀，為發(fā)動南昌起義發(fā)揮了重要的作用。
7月31日凌晨，廖乾五趕往設(shè)在百花洲心遠中學(xué)的第十一軍二十四師指揮部，協(xié)助師長葉挺指揮部隊行動。8月1日凌晨2時許，起義時刻來到了，中國共產(chǎn)黨領(lǐng)導(dǎo)的軍隊向國民黨反動派打響了武裝反抗的第一槍。起義成功后，中共前敵委員會宣布成立一個革命委員會，廖乾五被任命為革命委員會宣傳委員會委員及二十軍（軍長賀龍）黨代表。8月3日至5日，起義軍先后離開南昌，準備南下廣東東江地區(qū)建立根據(jù)地。
9月初，起義軍到瑞金。廖乾五和周逸群在瑞金錦江邊一所小學(xué)里介紹二十軍軍長賀龍加入了中國共產(chǎn)黨。周恩來出席了賀龍的入黨儀式并講了話。賀龍入黨后編入有周恩來、張國燾、廖乾五、劉伯承、周逸群等為成員的中央特別小組。中共前敵委員會在瑞金召開的二十軍連以上干部會議上，周恩來宣布前委決定，任命廖乾五兼任二十軍政治部主任。
9月2日，賀龍和廖乾五率二十軍為前鋒，由瑞金向汀州進軍。9月18日，起義軍進抵廣東大埔，敵軍1.5萬余眾對起義軍進行阻擊。賀龍、廖乾五等率部與敵展開激戰(zhàn)，5000 多名起義軍傷亡過半。在形勢惡劣的情況下，10月3日下午2 時左右，周恩來召集前委、革委、各軍及地方負責(zé)干部聯(lián)席會議。會上傳達了中共中央決定，宣布今后要打紅旗，分田地，繼續(xù)戰(zhàn)斗。根據(jù)中央指示精神，會議決定起義部隊立即撤向海陸豐，非武裝人員分赴香港或上海，還宣布賀龍、劉伯承、林伯渠、廖乾五等立即離開部隊，由香港繞道上海，回中央另行分配工作的決定。
