Die Geschichte dieser südwürttembergischen Siedlung und späteren Stadt war sehr bedeutend und erlangte in jener Zeit sogar wesentlich mehr Bedeutung als das heute viel größere Balingen.
Die Grafen von Württemberg erwarben von den verschuldeten Herzögen von Teck die Herrschaft und die Stadt Rosenfeld, die sie zu einer der vier stärksten Stadtbefestigungen in Württemberg ausbauten. Rosenfeld wurde Amtssitz eines adligen Vogtes, und war als Amtsstadt für die umliegenden württembergischen Orte zuständig. Dies hielt bis 1808 an, dann wurde das Amt zugunsten von Sulz aufgelöst.
Der Fruchtkasten wurde 1495 von Eberhard im Bart, dem ersten württembergischen Herzog, in Auftrag gegeben, aber erst unter Herzog Christoph von Württemberg gebaut und vor 1556 fertiggestellt. Im Lagerbuch von 1556 wird er schon erwähnt. Der Fruchtkasten ist als einziger ein Steingebäude, im Gegensatz zu den anderen drei „Kästen“ die in dieser Zeit gebaut wurden. Diese sind noch Fachwerkbauten.
Das Gebäude diente zur Aufbewahrung der herrschaftlichen Naturaleinkünfte, für deren Erwerb der Herzog jährlich 300 Gulden bereitstellte. Der Fruchtkasten fasste 10.000 Scheffel Korn, das in Notzeiten an die Bevölkerung ausgegeben wurde.