Das Kloster Breitenau wurde 1113 durch Graf Werner IV. gegründet, die Mönche kamen aus Hirsau. Das Kloster belehnte 1253 Widekind von Holzheim weiterhin mit dem Dorf Elfershusen, einschließlich den Leuten und 12 Hufen Landes. Wenn das Dorf schon 1253 vorhanden war, muss es früher gegründet worden sein. Mit der Entstehung der Grundherrschaft setzte eine neue große Siedlungsperiode (Rodeperiode) im 8. Jahrhundert ein, bis zum 13. Jahrhundert. Damals entstanden Orte mit „born“, „rode“, „tal“, „hain“, „hagen“, „hausen“ (Arnold). Die meisten Dörfer auf „hausen“ sind nach Arnold erst im 12. Jahrhundert entstanden. So könnte unser Dorf womöglich seine 800-Jahrfeier begehen. 1345 überließ der Landgraf Heinrich, der Eiserne, denen von Holzheim seine Gerichtsbarkeit in der Wüstung Elphershusin zu Burglehen. (Urk. Archiv von Holzheim) Der dem Stift Hersfeld zustehende Zehnte ward 1371 dem Stift Rotenburg verpfändet, das ihn denen von Holzheim verkaufte. 1539 verzichtete Abt Kraft von Hersfeld auf die Lösung (Reversalbuch Abt Kraft).
Die Herren von Holzheim waren bis 1524 mit Elfershausen belehnt. Aus zahlreichen Urkunden über die Herren von Holzheim in den Klosterakten von Breitenau (Generalrepertorium von Kurhessen) ist zu erkennen, dass sie bares Geld sehr nötig hatten bzw. die Einkünfte nicht selbst einzeln einzogen, sondern sie wiedekäuflich verkauften. So verkauften sie aus Hof und Vorwerk, Rod- und Feldzinsen, Gerechtigkeit, Gefälle, Erbäcker, Güter harter Früchte in den Jahren 1446 für 50 Gulden, 1453 für 50 Gulden, 1463 für 30 Gulden, 1464 für 30 Gulden, 1498 für 65 Gulden, 1513 für 70 Gulden 1521 für 200 Gulden, 1523 für 38 Gulden, 1524 für 60 Gulden.