岳家軍主要是跟隨岳飛從中原到南方的錢留守司的將士，以及牛皋、董先等支持宋廷的起義軍將士。在岳飛后來北伐的過程中，還收編了包括楊么、梁興、李寶等在內的農民軍，最后經過反復的擴充和改編，就有了舉世聞名的岳家軍。