وهو من الأمكنة الأثرية القديمة الذي جدده السلطان الظاهر بيبرس وذلك عام 1273م الذي بنى المقام، وكتب ياقوت الحموي (توفي في عام 1229م) في كتابه (معجم البلدان) يبنا بُليده قرب الرملة فيها قبر رجل من أصحاب النبي صلى الله عليه وسلم وأختلف بشأن من هو (يقال أنه الصحابي الجليل أبو هريرة رضي الله عنه) .
لكن العلامة صاحب الأنس الجليل مجير الدين الحنبلي نفى أن يكون (أبو هريرة) قد دفن في يبنا ، بل قال أنما بها بعض من ولده ، فالصحابي أبو هريرة رضي الله عنه توفي في المدينة المنورة ودفن في البقيع سنة (57هـ) وبعضهم يقول أمثال الهروي في المعجم بكتاب الزيارات أن بلدة يبنا بلد بين يافا وعسقلان وليس الذي بها أبو هريرة ، إنما هو الصحابي أبو قرصافه جندرة بن خثيمة وهو قريب أبي هريرة وزاره أبو هريرة في يبنا .
وهذا المسجد (مقام أبو هريرة) أقيمت فيه صلاة الجماعة ويعتبر مصلى صغير ولا تقام فيه صلاة الجمعة، وكان المدرسة الأولى في يبنا عام 1921م حتى افتتاح المدرسة كان في البداية مدرسة للبنين وبعد بناء المدرسة حول للبنات حتى افتاح مدرستهن.
بعد حرب 1948، تحول المبنى إلى كنيس أو مزار يهودي وتم تسميته باسم غمالائيل الثاني، وهو يهودي مشهور عاش في القرن الأول الميلادي.