Στην Καρύταινα βρίσκεται το φράγκικο Κάστρο της Καρύταινας που έχτισε τον 13^ο αιώνα ο Γοδεφρείδος ντε Βριγιέρ και χρησιμοποίησε ως έδρα του. Είναι κτισμένο στο υψηλότερο σημείο του χωριού σε υψόμετρο 582μ. πάνω σε βράχο και προσφέρει καταπληκτική θέα προς την πεδιάδα της Μεγαλόπολης. Ήταν από τα σημαντικότερα κάστρα της Πελοποννήσου στην περίοδο της Φραγκοκρατίας και της Τουρκοκρατίας. Κατά την Ελληνική Επανάσταση ο Θεόδωρος Κολοκοτρώνης εγκαταστάθηκε εκεί και αφού το οχύρωσε, έκτισε μία εκκλησία και μια κατοικία στο εσωτερικό του. Σήμερα η κατάσταση του κάστρου δεν είναι καλή και χρειάζεται συντήρηση. Σώζεται το μεγαλύτερο μέρος του τείχους που περιέβαλε το κάστρο, καθώς και ερείπια. Επισκέψεις γίνονται κατόπιν συνεννοήσεως με τον δήμο.