El cofre y las perlas

Un rey tiene un cofre  lleno de perlas y quiere encontrar un guardián fiable para cuidarlas.

Para seleccionarlo, creó un enigma para que lo resolvieran sus aldeanos,  el que lo resolviera correctamente en primer lugar se convertiría en el nuevo tesorero real.

El Puzzle es el siguiente:

“En este cofre tengo varias perlas.
Si elimino una, el número se convierte en un cuadrado perfecto.
Si elimino 2, el número se convierte en múltiplo por 9.
Si divido estas perlas entre 5 caballeros por igual, queda 1.
Si las divido entre 8 caballeros, entonces quedan 5.
El número de perlas es primo “.

¿Cuál es el número mínimo de perlas en el cofre del rey?