Jean Valjeant szülei halála után nővére, Jeanne neveli, akinek hét gyermeke van. Miután nővére megözvegyül, a huszonöt éves Jean Valjean támogatja a családot.
Egy kemény télen a gyermekek éheznek, ezért Jean Valjean kenyeret lop nekik. Elfogják. Jean Valjeant öt év gályarabságra ítélik az alábbi váddal: „éjjel, lakott házban elkövetett betöréses lopás”. 1796-ban kezdi meg letölteni büntetését, de négy szökési kísérlete miatt csak 1815 októberében, 19 év raboskodás után szabadul.
Szabadulása után éhesen vándorol az országban, de sehol sem kap munkát. Ennek az az oka, hogy ha valaki megkérdezi tőle, hogy volt-e már büntetve, fel kell fednie fegyenc múltját. Úgy tűnik, nincs számára más út, csak a már valaha megkezdett bűnözői élet.
Digne városának püspöke, Myriel – akit tiszteletből Bienvenu úrnak hívnak -, megvendégeli őt egy éjszakára. Jean Valjean még az éjjel ellopja a püspök ezüst evőeszközeit és eltűnik, de a hatóságok elfogják és visszahurcolják. A püspök azonban azt hazudja, hogy önként adta Jean Valjeannak az evőeszközöket, ráadásként két ezüst gyertyatartóját is a volt fegyencnek ajándékozza, így megmentve őt a visszaesőknek járó gályarabságtól.
Jean Valjean egy kisfiútól – Kicsi Gervaistől – ellopja a kétfrankos pénzérméjét. Tettén megbotránkozik. Visszaemlékezve a püspök jóságára Jean Valjean megtér, elhatározza hogy életét a jó cselekedeteknek szenteli.