Совпадают в знач.: 1. Исхудалый, с выступающими костями. [Лиза] похудела, глаза стали больше... руки тонкие, костля́вые (Л. Толстой). Печально сказал он и протянул Шевцову высохшую кости́стую руку (Фадеев). 2. С большим количеством мелких костей (о рыбе). Костля́вый (кости́стый) ерш.
Только костистый употр. в знач. «имеющий широкие, крупные, выступающие кости; ширококостный». Лошадь здоровая, кости́стая.
Розенталь Д. Э. Теленкова М. А. Словарь трудностей русского языка. М.: Айрис-Пресс, 2003. С. 283.