Κόβουμε το λεμόνι στα 4 και με τις λεμονόκουπες τρίβουμε καλά το αρνάκι. Με ένα κοφτερό μαχαίρι κάνουμε εγκοπές σε διάφορα σημεία, όπου τοποθετούμε τις σκελίδες του σκόρδου κομμένες στη μέση. Αλατοπιπερώνουμε, τρίβοντας (με το χέρι) το κρέας από όλες τις πλευρές. Βάζουμε το κρέας σε ελαφρά λαδωμένο ταψί και το ραντίζουμε με ελάχιστο ελαιόλαδο. Το βάζουμε να ψηθεί στους 180°C για μισή ώρα. Προσθέτουμε τις πατάτες (λαδωμένες και αλατισμένες) κομμένες στα 4 (ή τις πατατούλες babyολόκληρες με την φλούδα). Ψήνουμε για άλλη μια ώρα. Μόλις κλείσουμε τον φούρνο, ρίχνουμε την ρίγανη ή το θυμάρι.