De stamvader was Boele (ca. 1465 - 1552), een niet-adellijke bezitter van grond van enige omvang. Boele was boer onder Olterterp. Boeles is het bijbehorende patroniem. Dit is uiteindelijk Boelens en Van Boelens geworden.

Leden van de familie Boelens bezaten een groot deel van het gebied in en rond Olterterp. In de nabijgelegen Sint Hippolytuskerk herinnert een rouwbord aan de raadsheer aan het Hof van Leeuwarden, Ayzo van Boelens (1694-1782).



Olterterp was eeuwenlang een stil boerendorpje waar alles bij hetzelfde bleef. Aan het einde van de achttiende eeuw vond er echter een grote verandering plaats toen kleinzoon van Ayzo van Boelens - Ambrosius Ayzo van Boelens (1766-1834) - besloot zich hier te vestigen. In 1782 erfde hij als zestienjarige vrijwel het gehele grondgebied van Olterterp. Het dorp bestond toen uit een aantal buurtschappen en boerenerven.

Het beheer van de verkregen bezittingen werd waarschijnlijk aan een rentmeester overgelaten en de jonge Ambrosius richtte zich op zijn studie Romeins en hedendaags recht die hij begin 1790 in Harderwijk afrondde. Ambrosius werd in februari 1792 commies op het secretariaat van het provinciaal bestuur van Friesland. Hij was toen al bezig met plannen voor het aanleggen van een buitenhuis in Olterterp.

Voor het bouwen van het huis met park koos hij een gedeelte van de bij een Zathe (hoeve) behorende landbouwgronden. Daar werd toen Slot Boelens gebouwd, mogelijk met één zijvleugel.



Veel leden van de vrijmetselaarsloge, o.a. twee van Ambrosius' zwagers, behoorden tot de Friese landadel. In een advertentie uit de Leeuwarder Saturdagse Courant van 12 april 1797 wordt de aanbesteding van het aanbouwen van een VLEUGEL aan een Buiten Huizinge in Opsterland te Oldeterp  aangekondigd.
Omstreeks het jaar 1800 werd een park met waterpartijen aangelegd namens Mr. Ambrosius Ayzo van Boelens. Recht tegenover slot Boelens lag (ligt) een laan, die dan ook al gauw Slotlaan werd genoemd. Naast die laan lag een parkje met daarin de bomengroep. Omdat het er twaalf waren werden die bomen in de volksmond al gauw “De twaalf apostelen” genoemd.

Wie nu in Olterterp afslaat naar Selmien rijdt door een weidegebied. In 1817 was dit grotendeels woeste heide, afgewisseld met enkele wei- en bouwlanden, voornamelijk in bezit van Ambrosius van Boelens in Olterterp, en van Taekema in Selmien. Ze vonden elkaar in een gezamenlijke doelstelling: het gebied ten nutte maken door te vervenen (veengrond uitgraven of uitbaggeren voor het maken van turf) en te ontginnen (geschikt maken voor het verbouwen van nuttige planten). Kort na het graven van de Nieuwe en de Olterterper Vaart werd daarmee een begin gemaakt. Daarnaast was Van Boelens’ belang vooral ook boerderijen te stichten op de ontgonnen heide. Al voor 1851 werd de boerderij bij de familiebegraafplaats gebouwd en in 1862 vermeldt de kadasterlegger dat de aanslag daarvan verhoogd is. Aangenomen mag worden dat de heide daar toen al wei- of bouwland geworden was.

Achterkleindochter van Ambrosius Ayso van Boelens - jonkvrouwe Johanna Francina Sandberg (1870-1927) - Freule Hannie zoals zij werd genoemd, was opgegroeid in Arnhem waar haar vader jonkheer Mr. Rudolph Sandberg (1836-1922) advocaat-generaal bij het gerechtshof was. Met haar ouders en zuster verbleef ze 's zomers vaak langere tijd in Olterterp. Daar werd ze al gauw ingewijd in het beheer van het landgoed. In 1889 legde ze samen met freule Dientje - haar zuster Berendina Wilhelmina (1866-1939) - de eerste steen voor de nieuwbouw van herberg "Het Witte Huis". Een handeling die ze op 30 mei 1893 herhaalde bij de bouw van stoomzuivelfabriek "De Hoop". Natuurlijk was er naast de plicht ook ruimte voor ontspanning. Freule Hannie vond die in de fotografie.



1894 Herman H. Sandberg (1864-1949), getrouwd met Berendina Wilhelmina Sandberg (1866-1939), voegde bij K.B. in 1894 de naam van zijn schoonmoeder “van Boelens” toe aan de naam Sandberg.

Samen met haar zus erfde freule Hannie in 1913 vrijwel het gehele dorp en daarmee het landgoed  Olterterp van haar moeder Antoinette Philippine van Boelens (1841-1931). Het beheer bleef eerst in handen van haar vader (Rudolph Sandberg (1836-1922)) maar werd langzamerhand door Hannie, haar zuster en haar zwager Herman Hendrik Sandberg van Boelens overgenomen.
Slot Boelens werd in 1906 afgebroken en vervangen door het huidige landhuis. In de jaren 90 is het pand verbouwd, maar het oorspronkelijke karakter is nog goeddeels bewaard gebleven. Huize Olterterp is tegenwoordig in gebruik als hoofdkantoor van de Friese landschapsorganisatie It Fryske Gea.