Tháp am thờ bà Phan Thị Viên, vợ ông Đinh Nho Hoàn (1671-1715). Năm Ất Mùi (1715) đời Lê Dụ Tông, Đinh Nho Hoàn bấy giờ là Tả Thị Lang Bộ Lễ, vâng mệnh đi sứ sang Trung Quốc. Trên đường đi, ông bị bệnh và mất. Tương truyền, bà Phan Thị Viên đã tuẫn tiết theo chồng. Triều đình phong tặng bà là "Á Thần phu nhân", sắc cho địa phương lập đền thờ, ban cho 20 mẫu tự điền, ban biển vàng "Tiết phụ môn". Người dân sau đó lập tháp am thờ bà.