I den tida fartøyene gikk for seil var det viktig - om man kunne velge - å ta havn på steder med to eller flere løp. Så kunne man utnytte flere vindretninger for å komme seg ut. I Hillesund var situasjonen en annen. Man kunne ikke seile rett gjennom sundet. Utløpet østover, der broa i dag går over til Nakøy, er det bare noen få meter dypt. Visst kan man komme inn fra vest, men skal man sette seil og komme ut, kan man bare gjøre dette med østlig vind. Man kunne visstnok varpe seg ut før seilene ble satt. Det viser flere varpepåler på begge sider av det ytre sundet. Men dette gjorde ikke selve Hillesund til noen ideell havn. Fantes det et gjestgiveri i Hillesund? Det er grunn til å tro det, etter som andre uthavner hadde det. Svaret på spørsmålet henger sammen med det såkalte Hollenderhuset. Dette er det største bevarte huset i Hillesund og bygd med to boliger. Slik sett ligner det andre kjente gjestgiverier.
Huset ligger på Hillesiden med framsiden vendt mot Nakøy. Etter navnet å dømme virker det som om huset en gang ble assosiert med hollendere fra den store trelastepoken med hollandske skip mot slutten av 1700-tallet. Dette skulle også stemme godt med antakelsen om at huset en gang var gjestgiveri. Men selve benevnelsen Hollenderhuset er ikke kjent før det tragiske forliset av det hollandske barkskipet Judith i 1883. Den eneste overlevende var kapteinen, hvis størrelse og tapperhet har fasinert folk fram til denne dag. Sterkt skadet ble han lagt inn i Hollenderhuset. Han døde etter noen få dager. Han var så stor at vertskapet måtte sette sammen to senger for at han skulle få plass nok. Det er sannsynligvis etter denne skipperen at huset har fått sitt navn.