Come inizia la commedia, Tevye, un lattaio ebreo, racconta le usanze della piccola città russa di Anatevka. È il 1905, e la vita qui è precaria come un violinista sul tetto, eppure, attraverso le loro tradizioni, gli abitanti del villaggio resistono.
A casa di Tevye, sua moglie, Golde, e le loro cinque figlie si preparano per la cena del sabato quando arriva Yente, la sensale della città. Dice a Golde che ha un possibile partito per Tzeitel, la loro figlia maggiore. Le ragazze speculano su chi sposeranno un giorno, ma Tzeitel dice che devono prendere chiunque Yente organizzi per loro. Ironicamente, lei ha già promesso segretamente il suo amore a Motel Kamzoil, un sarto, che deve ancora trovare il coraggio di chiedere la mano di Tevye.
Mentre Tevye fa le sue consegne in città, prega, chiedendo che male ci sarebbe se fosse un uomo ricco. Incontra e prende in simpatia Perchik, uno studente di Kiev, e si offre di assumerlo come precettore per le sue due figlie più piccole.
Quando Tevye torna a casa, Golde lo informa che deve incontrare Lazar Wolf, un ricco macellaio che ha l’età di Tevye, dopo il pasto del sabato per discutere una proposta. Tevye crede che Lazar Wolf voglia comprare la sua mucca da latte, ma presto scopre che la proposta è quella del matrimonio con Tzeitel. Anche se Tevye non è molto affezionato a Lazar Wolf, accetta sapendo che sua figlia non morirà mai di fame. Festeggiano con altri del villaggio alla taverna locale. Il giorno seguente, Tzeitel e Motel supplicano Tevye di ripensare al suo matrimonio con Lazar Wolf e di considerare invece Motel. Tevye alla fine accetta, ma come dare questa notizia a Golde? Crea una storia in cui la nonna di Golde e la defunta moglie di Lazar Wolf, Fruma-Sarah, gli appaiono in sogno e minacciano di maledire Tzeitel se sposa Lazar Wolf. Golde crede che questo sia un segno e accetta l’incontro. Tzeitel e Motel si sposano con una tradizionale cerimonia ebraica, che purtroppo viene interrotta dalla “dimostrazione” del poliziotto.
Nel frattempo, la seconda figlia di Tevya, Hodel, si è innamorata di Perchik. Rompono la tradizione dicendo a Tevya che si amano e che si sposeranno, chiedendo solo la sua benedizione e non il suo permesso. Questo fa sì che Tevya e Golde contemplino il loro matrimonio e il loro amore reciproco dopo venticinque anni.
Perchik promette di mandare a prendere Hodel e parte per Kiev a lavorare per la rivoluzione. Viene arrestato e mandato in prigione in Siberia. Hodel decide che deve andare da lui, una decisione che suo padre alla fine appoggia.
Passano le settimane e la terza figlia di Tevya, Chava, si è innamorata di un paesano russo di nome Fyedka. Lei supplica il padre di poterlo sposare, ma sposarsi al di fuori della fede ebraica è per lui inaccettabile e le proibisce di vederlo ancora. Il giorno dopo, Chava e Fyedka fuggono di nascosto, e Chava viene ripudiata dalla sua famiglia.
I problemi continuano quando il poliziotto russo dice a tutti gli abitanti ebrei del villaggio che devono fare i bagagli e lasciare Anatevka entro tre giorni. Tutti si preparano a partire e ricordano la loro miserabile cittadina che tanti hanno chiamato casa per tanto tempo. Chava e Fyedka vengono a dire addio e a fare la pace. Tevye si rifiuta di guardarla, ma chiede a Tzeitel di farle gli auguri prima che tutti partano, mentre il violinista suona mentre escono.