Al comenzar la obra, Tevye, un lechero judío, cuenta las costumbres del pequeño pueblo ruso de Anatevka. Es 1905, y la vida aquí es tan precaria como un violinista en el tejado, sin embargo, a través de sus tradiciones, los habitantes del pueblo aguantan.
En la casa de Tevye, su mujer, Golde, y sus cinco hijas se preparan para la cena del sábado cuando llega Yente, la casamentera del pueblo. Le dice a Golde que tiene una posible pareja para Tzeitel, su hija mayor. Las chicas especulan sobre con quién se casarán algún día, pero Tzeitel dice que deben aceptar a quien Yente les consiga. Irónicamente, ella ya ha prometido su amor en secreto a Motel Kamzoil, un sastre, que aún no ha encontrado el valor para pedir la mano de Tevye.
Mientras Tevye hace sus entregas por la ciudad, reza, preguntándose qué daño habría si fuera un hombre rico. Conoce y se aficiona a Perchik, un estudiante de Kiev, y le ofrece contratarle como tutor de sus dos hijas menores.
Cuando Tevye vuelve a casa, Golde le informa de que ha quedado con Lazar Wolf, un carnicero rico que tiene la edad de Tevye, después de la comida del Sabbath para hablar de una propuesta. Tevye cree que Lazar Wolf quiere comprar su vaca lechera, pero pronto descubre que la propuesta es la de casarse con Tzeitel. Aunque Tevye no le tiene mucho aprecio a Lobo Lázaro, acepta sabiendo que su hija nunca pasará hambre. Lo celebran con otros habitantes del pueblo en la taberna local. De camino a casa, el alguacil ruso detiene a Tevye y le advierte de una próxima «manifestación»
Al día siguiente, Tzeitel y Motel suplican a Tevye que se replantee su acuerdo de matrimonio con Lazar Wolf y que considere a Motel en su lugar. Tevye acaba accediendo, pero ¿cómo dar la noticia a Golde? Crea una historia en la que la abuela de Golde y la difunta esposa de Lazar Wolf, Fruma-Sarah, se le aparecen en un sueño y amenazan con maldecir a Tzeitel si se casa con Lazar Wolf. Golde cree que se trata de una señal y acepta el matrimonio. Tzeitel y Motel se casan en una ceremonia tradicional judía, que lamentablemente se ve interrumpida por la «manifestación» del alguacil.»
Mientras tanto, la segunda hija de Tevya, Hodel, se ha enamorado de Perchik. Rompen la tradición diciéndole a Tevya que se aman y que se van a casar, pidiéndole sólo su bendición y no su permiso. Esto hace que Tevya y Golde contemplen su propio matrimonio y su amor mutuo después de veinticinco años.
Perchik promete enviar a buscar a Hodel y se marcha a Kiev para trabajar en la revolución. Es detenido y enviado a prisión en Siberia. Hodel decide que debe ir con él, una decisión que su padre acaba apoyando.
Pasan las semanas, y la tercera hija de Tevya, Chava se ha enamorado de un aldeano ruso llamado Fyedka. Ella suplica a su padre que le permita casarse con él; pero casarse fuera de la fe judía es inaceptable para él, y le prohíbe volver a verlo. Al día siguiente, Chava y Fyedka se fugan en secreto, y Chava es repudiada por su familia.
Los problemas continúan cuando el alguacil ruso les dice a todos los aldeanos judíos que deben hacer las maletas y abandonar Anatevka en tres días. Todos se preparan para partir mientras recuerdan su pequeño y miserable pueblo al que tantos han llamado hogar durante tanto tiempo. Chava y Fyedka vienen a despedirse y hacer las paces. Tevye se niega a mirarla, pero hace que Tzeitel le desee lo mejor antes de que todos partan, tocando el violinista mientras salen.