Durante a guerra argelina pela independência da França, um jovem francês que vive em Genebra e pertence a um grupo terrorista de direita e uma jovem que pertence a um grupo terrorista de esquerda, se encontram e se apaixonam.

Filmado após O Acossado, o estranhamente humorístico segundo longa de Godard relativo à guerra argelina -sua primeira incursão no cinema político-foi proibido durante três anos. O pequeno soldado também marca sua primeira colaboração com a falecida Anna Karina: à sua indelével presença na tela.