Es el edificio civil más antiguo que se conserva en el Puerto de la Cruz y elemento indispensable en las mejores fotos del entorno del viejo muelle pesquero. De estilo tradicional canario, fue fundada en 1620 por la familia Franchy. Posteriormente fue arrendada a la Real Hacienda para acomodar en ella las dependencias de la Aduana y como residencia de los almojarifes o administradores, hasta 1833 que este departamento pasó a Santa Cruz de Tenerife. Alrededor de la Casa de la Aduana existió, desde 1708 y hasta principios del siglo XX, la Batería de Santa Bárbara, de la que sólo se conserva la escalerilla de piedra para bajar al mar, construida en 1741. La pequeña fortificación constaba además de un muro empalizada, una garita y casilla-polvorín. Estaba artillada con cuatro cañones para la defensa de los barcos que fondeaban en la zona del Limpio de las Carabelas, cerca de la punta del muelle viejo. Ante la gran cantidad de buques que llegaban para cargar fruta, el alcalde solicitó a la primera autoridad militar el derribo de la empalizada y la garita para que de esta forma pudieran maniobrar mejor los camiones que trasladaban tales mercancías. En 1997 el Cabildo de Tenerife compró la casa a la familia Baillon, la restauró y la ha convertido en centro sociocultural y de exposiciones. El Cabildo tiene previsto instalar en su planta baja la nueva sede de la Oficina de Turismo de la ciudad.