Am Anfang des Stücks erzählt Tevye, ein jüdischer Milchmann, von den Bräuchen in der kleinen russischen Stadt Anatevka. Wir schreiben das Jahr 1905, und das Leben hier ist so unsicher wie ein Fiedler auf dem Dach, doch durch ihre Traditionen halten die Dorfbewohner durch.
Im Haus von Tevye bereiten sich seine Frau Golde und ihre fünf Töchter auf das Sabbatessen vor, als Yente, die Heiratsvermittlerin der Stadt, eintrifft. Sie erzählt Golde, dass sie einen möglichen Partner für Tzeitel, ihre älteste Tochter, hat. Die Mädchen spekulieren darüber, wen sie eines Tages heiraten werden, aber Tzeitel sagt, sie müssen denjenigen nehmen, den Yente für sie arrangiert. Ironischerweise hat sie bereits heimlich Motel Kamzoil, einem Schneider, ihre Liebe geschworen, der aber noch nicht den Mut gefunden hat, Tevye um ihre Hand zu bitten.
Während Tevye seine Lieferungen durch die Stadt macht, betet er und fragt sich, was es schaden würde, wenn er ein reicher Mann wäre. Er lernt Pertschik, einen Studenten aus Kiew, kennen und lieben und bietet ihm an, ihn als Hauslehrer für seine beiden jüngsten Töchter einzustellen.
Als Tevye nach Hause zurückkehrt, teilt Golde ihm mit, dass er sich nach dem Sabbatmahl mit Lazar Wolf, einem wohlhabenden Metzger in Tevyes Alter, treffen soll, um einen Antrag zu besprechen. Tevye glaubt, dass Lazar Wolf seine Milchkuh kaufen will, aber bald findet er heraus, dass es sich um einen Heiratsantrag an Tzeitel handelt. Obwohl Tevye Lazar Wolf nicht sonderlich mag, stimmt er zu, da er weiß, dass seine Tochter nicht verhungern wird. Sie feiern mit anderen aus dem Dorf in der örtlichen Taverne. Auf dem Heimweg hält der russische Wachtmeister Tevye an und warnt ihn vor einer bevorstehenden „Demonstration“
Am nächsten Tag flehen Tzeitel und Motel Tevye an, ihre Heiratsvereinbarung mit Lazar Wolf zu überdenken und stattdessen Motel in Betracht zu ziehen. Tevye stimmt schließlich zu, aber wie soll er Golde diese Nachricht überbringen? Er erfindet eine Geschichte, in der Golde’s Großmutter und Lazar Wolfs verstorbene Frau, Fruma-Sarah, ihm in einem Traum erscheinen und drohen, Tzeitel zu verfluchen, wenn sie Lazar Wolf heiratet. Golde glaubt, dass dies ein Zeichen ist und willigt in die Heirat ein. Tzeitel und Motel heiraten in einer traditionellen jüdischen Hochzeitszeremonie, die leider durch die „Demonstration“ des Wachtmeisters gestört wird.
In der Zwischenzeit hat sich Tevya’s zweite Tochter, Hodel, in Perchik verliebt. Sie brechen die Tradition, indem sie Tevya sagen, dass sie sich lieben und heiraten werden, und bitten nur um seinen Segen, nicht um seine Erlaubnis. Dies veranlasst Tevya und Golde, über ihre eigene Ehe und Liebe zueinander nach fünfundzwanzig Jahren nachzudenken.
Pertschik verspricht, nach Hodel zu schicken und geht nach Kiew, um für die Revolution zu arbeiten. Er wird verhaftet und kommt ins Gefängnis nach Sibirien. Hodel beschließt, dass sie zu ihm gehen muss, eine Entscheidung, die ihr Vater schließlich unterstützt.
Wochen vergehen, und Tevyas dritte Tochter, Chava, hat sich in einen russischen Dorfbewohner namens Fyedka verliebt. Sie fleht ihren Vater an, ihn heiraten zu dürfen; aber eine Heirat außerhalb des jüdischen Glaubens ist für ihn inakzeptabel, und er verbietet ihr, ihn wiederzusehen. Am nächsten Tag brennen Chava und Fyedka heimlich durch, und Chava wird von ihrer Familie verstoßen.
Der Ärger geht weiter, als der russische Wachtmeister allen jüdischen Dorfbewohnern mitteilt, dass sie ihre Sachen packen und Anatevka innerhalb von drei Tagen verlassen müssen. Alle bereiten sich auf die Abreise vor und schwelgen in Erinnerungen an ihre armselige kleine Stadt, die so viele so lange ihr Zuhause genannt haben. Chava und Fyedka kommen, um sich zu verabschieden und Frieden zu schließen. Tevye weigert sich, sie anzuschauen, aber er lässt Tzeitel ihr alles Gute wünschen, bevor sie alle abreisen und der Fiedler spielt, während sie gehen.