Alors que la pièce commence, Tevye, un laitier juif, raconte les coutumes de la petite ville russe d’Anatevka. Nous sommes en 1905, et la vie ici est aussi précaire qu’un violoniste sur le toit, pourtant, grâce à leurs traditions, les villageois perdurent.
Dans la maison de Tevye, sa femme, Golde, et leurs cinq filles se préparent pour le dîner du sabbat lorsque Yente, l’entremetteuse de la ville, arrive. Elle annonce à Golde qu’elle a un partenaire possible pour Tzeitel, leur fille aînée. Les filles spéculent sur la personne qu’elles épouseront un jour, mais Tzeitel dit qu’elles doivent prendre celle que Yente leur arrangera. Ironiquement, elle a déjà secrètement promis son amour à Motel Kamzoil, un tailleur, qui doit encore trouver le courage de demander sa main à Tevye.
Alors que Tevye fait ses livraisons dans la ville, il prie, demandant quel mal il y aurait à être un homme riche. Il rencontre et se prend d’affection pour Perchik, un étudiant de Kiev, et lui propose de l’engager comme précepteur pour ses deux plus jeunes filles.
Lorsque Tevye rentre chez lui, Golde l’informe qu’il doit rencontrer Lazar Wolf, un riche boucher qui a l’âge de Tevye, après le repas du sabbat pour discuter d’une proposition. Tevye croit que Lazar Wolf veut acheter sa vache laitière, mais découvre rapidement que la proposition est celle d’un mariage avec Tzeitel. Bien que Tevye n’apprécie pas beaucoup Lazar Wolf, il accepte en sachant que sa fille ne mourra jamais de faim. Ils fêtent l’événement avec les autres habitants du village à la taverne locale. Sur le chemin du retour, le gendarme russe arrête Tevye et le prévient d’une « manifestation » à venir.
Le lendemain, Tzeitel et Motel plaident auprès de Tevye pour qu’il repense son arrangement matrimonial avec Lazar Wolf, et qu’il considère plutôt Motel. Tevye finit par accepter mais comment annoncer cette nouvelle à Golde ? Il crée une histoire où la grand-mère de Golde et la défunte épouse de Lazar Wolf, Fruma-Sarah, lui apparaissent en rêve et menacent de maudire Tzeitel si elle épouse Lazar Wolf. Golde croit qu’il s’agit d’un signe et accepte de se marier. Tzeitel et Motel se marient lors d’une cérémonie de mariage juive traditionnelle, qui est malheureusement perturbée par la « manifestation » du gendarme.
Pendant ce temps, la deuxième fille de Tevya, Hodel, est tombée amoureuse de Perchik. Ils rompent la tradition en disant à Tevya qu’ils s’aiment et vont se marier, ne demandant que sa bénédiction et non sa permission. Cela amène Tevya et Golde à contempler leur propre mariage et leur amour l’un pour l’autre après vingt-cinq ans.
Perchik promet d’envoyer Hodel et part à Kiev pour travailler pour la révolution. Il est arrêté et envoyé en prison en Sibérie. Hodel décide qu’elle doit aller le rejoindre, une décision que son père finit par soutenir.
Les semaines passent, et la troisième fille de Tevya, Chava est tombée amoureuse d’un villageois russe nommé Fyedka. Elle supplie son père de l’autoriser à l’épouser ; mais se marier en dehors de la foi juive est inacceptable pour lui, et il lui interdit de le revoir. Le lendemain, Chava et Fyedka s’enfuient secrètement, et Chava est reniée par sa famille.
Les ennuis continuent car le gendarme russe annonce à tous les villageois juifs qu’ils doivent faire leurs bagages et quitter Anatevka dans les trois jours. Tout le monde se prépare à partir en se remémorant leur misérable petite ville que tant de gens ont appelé leur maison pendant si longtemps. Chava et Fyedka viennent faire leurs adieux et faire la paix. Tevye refuse de la regarder, mais demande à Tzeitel de lui souhaiter bonne chance avant qu’ils ne partent tous, le violoniste jouant alors qu’ils sortent.