De Fluweelengrot is vermoedelijk in de 11de of 12de eeuw ontstaan. In de maanden dat er geen kerstmarkt plaatsvindt kun je met een gids een rondleiding ondernemen.
Mergel werd door de blokbrekers gedolven uit de groeves, om te gebruiken als bouwsteen. Het resultaat van deze mergelwinning is een uitgebreid labyrint van oude en grillige gangen.
De Fluweelengrot herbergt een schat aan indrukwekkende wandschilderingen, inscripties, sculpturen en een kapel daterend uit de 18e eeuw.
In de 2de wereldoorlog, tijdens de bezetting door de Duitsers diende de grot als schuilplaats voor de Valkenburgers en de Amerikaanse soldaten.
In de Fluweelengrot is het zomer en winter 12 graden.
