خروج الحاج من عرفة ثم رجوعه إليها قبل الغروب

مَن خرج من عرفة ليُحضر الغداء، ورجع إليها بعد صلاة العصر بمدة، هل يلزمه شيء؟