Можно ли священнику зайти в алтарь любого храма?

Нет, нельзя. Надо предупредить настоятеля, он должен удостовериться, что это православный священник, а не просто мужчина в подряснике. Исключением можно считать посещение прихода церковным начальством (например, благочинным округа).

Лично я не дерзаю так поступать. Очень странно, увидев где-то открытый дом, зайти туда без ведома хозяев.

Даже если идет богослужение в незнакомом храме, но меня не пригласили в алтарь, и в таком случае лучше постоять и просто помолиться в храме. Если в храме служит знакомый священник, то можно войти, конечно. Но лучше всего заранее сообщить, что я планирую прийти.

Теоретически это возможно и прямо не запрещается, но элементарные правила приличия требуют спросить разрешения у настоятеля храма. Если приглашают в храм на соборное богослужение, то особого разрешения у настоятеля не спрашивают.