De grottenstad Vardzia met de woningen en het koninklijk klooster werd voornamelijk gebouwd in de twaalfde eeuw, tussen 1156 en 1203, over een lengte van 500 meter. De stad ligt op een gemiddelde hoogte van 1.300 meter in de hoge rotswand, de bovenste grotwoning ligt op een hoogte van 1.462 meter. De huidige woningen zijn uitgehakt op zes tot zeven verdiepingen aan de westzijde en op dertien verdiepingen aan de oostzijde met veel trappen en terrassen. De meeste grotwoningen zijn onderling verbonden met tunnels. Oorspronkelijk was Vardzia een vrij grote stad met ruim 3.000 woningen op negentien verdiepingen maar een aardbeving in het jaar 1283 veroorzaakte grote schade, er zijn nu nog 600 tot 750 grotwoningen te zien en een aantal kerken waaronder het robuuste klooster.