Различаются в значении.
Изощре́ние – действие по значение глагола «изощрить» (сделать более совершенным, утончённым). «Изощре́ние внимания, разумеется, достигается при этом огромное, однако в основе всего этого научного изучения лежит вивисекция религии» (Булгаков С. Н. «Свет невечерний. Созерцания и умозрения»).
Изощрённость – свойство по значению прилагательного «изощрённый» (превосходно развитый, тонкий). «Изощрённость и виртуозность – внешне похожие понятия, но внутренне противоположны… Северянин – изощре́н. Пушкин – виртуозен» (Искандер Фазиль «Из записных книжек»).
Розенталь Д. Э. Теленкова М. А. Словарь трудностей русского языка. М.: Айрис-Пресс, 2003. С. 236 – 237.