Nadat in 1928 golfclub Toxandria was opgericht, kon er in 1929 een clubhuis worden gebouwd. De grond die oorspronkelijk bedoeld was voor de bouw van sanatorium De Klokkenberg, was vrijgekomen omdat het sanatorium uiteindelijk naar Breda ging.
Het ontwerp voor het clubhuis was van architect W. Stok, die de paviljoenbouw van de Amerikaanse architect Frank Lloyd Wright als voorbeeld had genomen. Het pand is op een heuveltje gebouwd om uitzicht over het golfterrein te krijgen en het bestaat uit twee bouwlagen. Het clubhuis is in later jaren verschillende keren verbouwd en aangepast. Zo is er in 1973 in het paviljoen een woongedeelte gerealiseerd.
Het clubgebouw hoort tot de gemeentelijke monumenten.