Distante pochi passi dal Palazzo della Barca (vedi sopra), il Palazzo di Sotto fu costruito tre anni prima (nel 1767) da un altro membro della famiglia Remonda: Carlo Francesco, zio e socio di Guglielmo Antonio Maria. Le cronache raccontano di uno "scontro a distanza" tra i due: dandosi il cambio a Chartres, cittadina francese nella quale prosperarono grazie alle loro attività commerciali, si alternarono a Comologno verso la fine degli anni Sessanta del XVIII secolo per costruire i rispettivi palazzi e arrivarono al punto di litigare e non parlarsi più. Il nipote, infatti, definì il palazzo dello zio "una porcheria" e costruì il Palazzo della Barca (inizialmente noto come "Palazzo di Sopra") per dimostrargli di saper fare meglio.