Различаются значением.
Преувеличе́ние. 1. Представление чего-либо в увеличенных по сравнению с действительностью размерах. Я начинаю подозревать, что вы склонны к преувеличе́нию (Тургенев). 2. То, чему придано преувеличенное значение. Он очень часто указывал мне на преувеличе́ния, допускаемые мною в рассказах (Горький).
Преувеличенность чего. Свойство чего-либо по значению прилагательного «преувеличенный». Несносна мне и преувеличенность чувств глупого Вертера к не менее глупенькой Лотте (Форш).
Розенталь Д. Э. Теленкова М. А. Словарь трудностей русского языка. М.: Айрис-Пресс, 2003. С. 542.