Дорогая Анна Александровна. То, что посоветовал батюшка, - всецело его личное богословское мнение. Поэтому как реагировать на такие мнения, каждый сам решает. Кому-то этот совет придется по сердцу, кому-то - нет. Уверяю, в Православной Церкви нет никакого запрета на ношение женщиной брюк.
То, что это мужская одежда (есть каноны, запрещающие переодевание в одежду противоположного пола), это глупость. Вспомните восточные шаровары - исконно женский элемент одежды. И сейчас шьют прекрасные женские модели брюк.
В монастырях иногда мотивируют запрет на брюки тем, что они обтягивают бедра и это может соблазнять монахов. Я много беседовал с монахами и прямо спрашивал их об этом, и все честно сказали, что их это никаким образом не соблазняет. Но теоретически - может. Значит, надевайте в паломничество более скромную - безсоблазнственную - одежду.