Hijo de inmigrantes rusos, nació el 27 de febrero de 1928 en la comunidad agrícola de Kfar Malal, 16 kilómetros al norte de Tel Aviv. A los 14 años se unió a la Haganá, una unidad que fue precursora de las fuerzas de defensa del estado judío. Comandó una brigada de infantería en la guerra de 1948.
Fue una escena típica de Ariel Sharon: con su voluminoso cuerpo bamboleándose detrás de una barrera de soldados antimotines, el exgeneral encabezó una marcha hacia un sitio sagrado de Jerusalén que se disputan desde siempre árabes e israelíes.