ศาลเจ้าแม่ไสวสร้างขึ้นเพื่อเป็นที่เคารพสักการะของชาวประมง มีความเชื่อว่าสมัยก่อนมีรูปแกะสลักเจ้าแม่ลอยมาติดอยู่บริเวณที่ตั้งศาล จึงนำมากราบไหว้บูชาเป็นสิ่งศักดิ์สิทธิ์ ตัวศาลได้รับการบูรณะเมื่อปี พ.ศ. 2547 ตัวศาลจะหันหน้าเข้าสู่แม่น้ำคลองใหญ่ซึ่งเป็นจุดเชื่อมต่อระหว่างแม่น้ำและทะเล