A Fazenda Palmeiras foi edificada em meados do século XIX pelo Tenente Coronel Manoel Jacintho Domingues de Castro.
No ano de 1879 o Imperador D Pedro II pernoitou na fazenda e na ocasião outorgou ao proprietário o título de Barão do Paraitinga.
Do conjunto arquitetônico original, composto por senzala, casa de máquina e tropas, pocilga e tulha, restou apenas parte da casa sede e muros de pedras.
Dentro da casa, a atração principal fica por conta de belo oratório que tem como orago a imagem de São José, o padroeiro da fazenda.