中国共产党成立后，六安很多在外入党的进步青年，纷纷回乡，帮助创建党团组织，为六安建党提供了条件。1922年春，寿县小甸集，成立“二三同志（分别指曹蕴真、徐梦周、鲁平阶）小组”，这是安徽最早的党小组。1923年冬，遵照中共中央指示，曹蕴真、徐梦周、鲁平阶在寿县小甸集成立了安徽最早的农村党支部——中共寿县小甸集特别支部，书记曹蕴真，直属中共中央领导。1924年秋，蒋光慈从苏联回国，介绍霍邱、固始两县边界的志成小学教员詹谷堂入党。不久，詹谷堂到笔架山商城甲种蚕科学堂（今属金寨县）讲学，发展学生李梯云、周维炯、漆德玮、漆禹源、漆海峰、漆叔甫、李声武入党，成立了中共商城甲种蚕科学堂小组（即笔架山农校党小组），由李梯云任组长。同年冬，农校党小组扩大为中共笔架山农校支部，有党员12人。这是现六安市境内最早的党组织。

随后，六安各地党组织也相继建立起来。1925年冬，中共六安特别支部在六安城关成立，王绍虞任特支书记，直属中共中央领导，有党、团员10多人。1926年3月，许继慎在今裕安区青山乡帮助建立中共土门店小组，直属中共中央领导，许希孟任组长。1926年6月，中共乌龙庙特别支部在霍邱县乌龙庙黄大庄成立，直属中共中央领导，樊逸仙任书记，特别支部下辖5个分支部，有党员近30人。1927年8月在六安城西门外紫竹林小庙成立中共六安特别区委，领导六安、霍山、霍邱、合肥4县工作，同年11月在六安成立中共皖中特委，指导寿县、凤台、六安、霍山、霍邱、英山、合肥党的工作。1927年秋，霍山先后成立了舒家庙、漫水河、燕子河3个党支部。1929年秋，舒城先后成立了西八里稻场岗、东西港冲等党支部。这些党组织成立后，积极领导和推动工农运动发展，组建工会和农民协会等群团组织，进行革命活动，支援北伐战争，开展反帝反封建斗争，为六安即将到来的土地革命风暴奠定了坚实基础。