วัดนี้เริ่มสร้างตั้งแต่เมื่อใดไม่มีหลักฐาน แต่ประมวลจากคนบอกเล่าว่าเริ่มสร้างประมาณ พ.ศ. 2420 โดยมีหลวงพ่อผึ้งซึ่งบวชอยู่วัดเนินฆ้อ เป็นผู้ริเริ่มสร้างพร้อมด้วยทายกทายิกา ในสมัยนั้นมี นายจัน นางพุ่ม เป็นผู้ถวายที่ดินให้สร้าง คงเห็นว่าชุมชนมีอยู่มากและอยู่ห่างจากวัดอื่น ๆ พอสมควร จึงได้เริ่มสร้างกันขึ้นมาเป็นวัดและให้ชื่อว่า “วัดป่าเรไร” คงจะเห็นว่าสถานที่นี้เป็นป่าใหญ่ไม้ชุกชุม ในสมัยของหลวงพ่อเล็ก ซึ่งเป็นเจ้าอาวาสในราวปี พ.ศ. 2442 ได้มีการพัฒนาวัดให้เจริญขึ้นโดยยกกุฏิเป็นทรงไทย และสร้างอุโบสถขึ้นด้วย อุโบสถหลังแรกคงทำแบบฝาไม้ เสาไม้ หลังคามุงกระเบื้อง ต่อมามีช่างที่ชำนาญงานปูนเกิดขึ้น จึงได้รื้อฝาไม้ออกและก่ออิฐถือปูนฝาผนังเป็นอุโบสถที่มั่นคง และได้จัดงานผูกพัทธสีมา ฝังลูกนิมิตในราวปี พ.ศ. 2474 ต่อมาได้มีเจ้าคณะมณฑลมาตรวจเยี่ยมวัด เห็นว่าวัดนี้ชื่อไม่ตรงกับหมู่บ้าน จึงเปลี่ยนชื่อวัดเสียใหม่ว่า “วัดจำรุง” ซึ่งตรงกับชื่อหมู่บ้าน เพราะหมู่บ้านเป็นที่ลุ่มน้ำขังจึงเรียกว่า “จำรุง”