เดิมชื่อว่าวัดเขาชากแขก แต่ไม่ทราบว่าสร้างขึ้นเมื่อใด ประกาศเป็นวัดเมื่อ พ.ศ. 2451 ที่มาของชื่อวัดมีเรื่องเล่าอยู่สองรูปแบบ ที่มาแรกกล่าวว่ามีคนแขกที่มาจากจันทบุรีมาทำนาอยู่บริเวณนี้ และที่มาที่สองคือบริเวณนี้เป็นพื้นที่สูงหรือชาก อีกทั้งบริเวณนี้ยังเป็นที่พักกลางวันของชาวบ้านที่มาลงแขกเกี่ยวข้าวกัน ต่อมาเมื่อปี พ.ศ. 2480 ได้เปลี่ยนชื่อจากวัดเขาชากแขกเป็นวัดเขาโบสถ์จนถึงปัจจุบัน

รูปแบบทางสถาปัตยกรรมของอุโบสถเก่า เป็นอาคารก่ออิฐถือปูนแบบประเพณี มีการทำจั่นหับหรือเพิงยื่นออกมาด้านหน้าชายคาหลุบต่ำโดยก่อพนักเตี้ยๆ ปิดล้อมหน้าโถงไว้ ภายในประดิษฐานพระพุทธรูปปางสมาธิ ปัจจุบันสภาพของอุโบสถค่อนข้างทรุดโทรมลงไปเป็นอย่างมาก นอกจากนี้ยังมีพระพุทธรูปปางมารวิชัย เดิมเคยประดิษฐานอยู่ในพระอุโบสถเก่า