Als het stuk begint, vertelt Tevye, een Joodse melkboer, over de gebruiken in het kleine Russische stadje Anatevka. Het is 1905, en het leven hier is zo onzeker als een vioolspeler op het dak, maar door hun tradities houden de dorpelingen stand.
Bij Tevye thuis bereiden zijn vrouw, Golde, en hun vijf dochters zich voor op het sabbatdiner als Yente, de koppelaarster van het dorp, arriveert. Ze vertelt Golde dat ze een mogelijke partij heeft voor Tzeitel, hun oudste dochter. De meisjes speculeren over met wie ze ooit zullen trouwen, maar Tzeitel zegt dat ze degene moeten nemen die Yente voor hen regelt. Ironisch genoeg heeft zij haar liefde al in het geheim toegezegd aan Motel Kamzoil, een kleermaker, die nog niet de moed heeft gevonden Tevye om haar hand te vragen.
Terwijl Tevye zijn leveringen in de stad doet, bidt hij en vraagt zich af wat er mis zou gaan als hij een rijk man zou zijn. Hij ontmoet Perchik, een student uit Kiev, die hem wel ziet zitten, en biedt hem aan als leraar voor zijn twee jongste dochters.
Als Tevye thuiskomt, vertelt Golde hem dat hij na de sabbatmaaltijd een afspraak heeft met Lazar Wolf, een rijke slager van Tevye’s leeftijd, om een voorstel te bespreken. Tevye denkt dat Lazar Wolf zijn melkkoe wil kopen, maar ontdekt al snel dat het om een huwelijksaanzoek aan Tzeitel gaat. Hoewel Tevye niet erg gesteld is op Lazar Wolf, stemt hij toe, wetende dat zijn dochter nooit zal verhongeren. Zij vieren feest met anderen uit het dorp in de plaatselijke taveerne. Op weg naar huis houdt de Russische agent Tevye aan en waarschuwt hem voor een komende “demonstratie.”
De volgende dag smeken Tzeitel en Motel Tevye om haar huwelijksovereenkomst met Lazar Wolf te heroverwegen, en Motel te overwegen. Tevye stemt uiteindelijk toe, maar hoe moet hij dit nieuws aan Golde vertellen? Hij verzint een verhaal waarin Golde’s grootmoeder en Lazar Wolf’s overleden vrouw, Fruma-Sarah, aan hem verschijnen in een droom en dreigen Tzeitel te vervloeken als zij met Lazar Wolf trouwt. Golde gelooft dat dit een teken is en stemt in met het huwelijk. Tzeitel en Motel trouwen in een traditionele Joodse huwelijksceremonie, die helaas wordt verstoord door de “demonstratie” van de agent.
Tussen is Tevya’s tweede dochter, Hodel, verliefd geworden op Perchik. Ze breken met de traditie door Tevya te vertellen dat ze van elkaar houden en gaan trouwen, en vragen alleen om zijn zegen en niet om zijn toestemming. Dit zet Tevya en Golde aan het denken over hun eigen huwelijk en liefde voor elkaar na vijfentwintig jaar.
Perchik belooft Hodel op te halen en vertrekt naar Kiev om voor de revolutie te werken. Hij wordt gearresteerd en naar de gevangenis in Siberië gestuurd. Hodel besluit dat ze naar hem toe moet gaan, een besluit waar haar vader uiteindelijk achter staat.
Weeks gaan voorbij, en Tevya’s derde dochter, Chava is verliefd geworden op een Russische dorpeling genaamd Fyedka. Ze smeekt haar vader om met hem te mogen trouwen, maar een huwelijk buiten het joodse geloof is voor hem onaanvaardbaar en hij verbiedt haar hem nog te zien. De volgende dag lopen Chava en Fyedka stiekem weg, en Chava wordt door haar familie verstoten.
De problemen duren voort als de Russische agent alle joodse dorpelingen vertelt dat ze binnen drie dagen moeten inpakken en Anatevka moeten verlaten. Iedereen bereidt zich voor op het vertrek, terwijl ze herinneringen ophalen aan hun ellendige stadje dat zovelen zo lang hun thuis hebben genoemd. Chava en Fyedka komen om afscheid te nemen en vrede te sluiten. Tevye weigert haar aan te kijken, maar laat Tzeitel haar het beste wensen voordat ze allemaal vertrekken, terwijl de vioolspeler speelt als ze weggaan.