Mury rozebrano w XIX w. ale znaczne ich fragmenty przetrwały do dziś. W 1414 r. Miłakowo zostało poważnie zniszczone przez wojska polskie. W roku 1490 ówczesny wielki mistrz krzyżacki Hans von Tieffen ponownie potwierdził prawa miejskie i rozszerzył je. Już we wczesnym średniowieczu Miłakowo stało się miejscowym centrum handlowym. Odbywało się tu 9 jarmarków rocznie, w tym 4 dwudniowe kramne oraz dwa cotygodniowe targi. Miasto wielokrotnie ulegało różnym kataklizmom, np. w 1659 w czasie najazdu szwedzkiego zostało znacznie zniszczone. W 1807 r. w czasie wojny francusko-pruskiej spalono ratusz. W miasteczku zachowały się domy z przełomu XVIII i XIX w.

Przez wieki Miłakowo było miastem wielonarodowym i wielowyznaniowym. Mieszkali tu Niemcy, Polacy i Żydzi. W 1890 r. na 2254 mieszkańców żyło tu 482 Katolików i 85 Żydów. W mieście istniała synagoga, po której wszelki ślad zaginął. Po miłakowskich Żydach pozostałych resztki cmentarza, które obecnie znajdują się w c entrum obecnego cmentarza komunalnego. W 1945 r. miasto zostało zniszczone w 75%., przez Armię Czerwoną. Wyludnienie i zniszczenia wojenne spowodowały utratę praw miejskich - ponowny awans do rangi ośrodka miejskiego nastąpił 1 stycznia 1998 r. W tym też czasie miasteczko utraciło połączenie kolejowe z Ornetą i Morągiem – tak jak w wielu miejscach byłych Prus Wschodnich, tory rozebrali Sowieci i wywieźli je do Związku Radzieckiego.