Um 1090 existierten (wie die Urkunde von 1098 beweist) die Familie von Stetten, die Familie von Künzelsau sowie die Familie von Zottishofen, deren Ursprung auf die Familie Stein bei Künzelsau zurückzuführen ist. Im Laufe der Jahrhunderte ist nur die Familie von Stetten übrig geblieben und die anderen sind ausgestorben.
Die Herren von Stetten haben mit ziemlicher Sicherheit zu dieser Zeit in Stetten ob Kocher - später Kocherstetten - gesiedelt und zogen erst im 12. Jahrhundert auf den Berg, nachdem sie sich dort eine größere Befestigungsanlage gebaut hatten. Andere Zweige der Familie siedelten auf dem Bachenstein oberhalb von Döttingen, Nagelsberg, Gabelstein (Michelbach / Öhringen) und weiter westlich Wunnenstein, Auenstein, Beilstein und anderen Orten.
Die Anfänge der Burg Stetten waren sicher älter als die heute noch im Original vorhandenen Grundmauern der Burg, des Bergfrieds und der Schildmauer, die zwischen 1180 und 1200 erbaut wurden. Nach der Überlieferung hat Kaiser Friedrich Barbarossa 1185 die Genehmigung zur Errichtung dieser Burganlage seinen treuen Ministerialen Stetten gegeben.