Po podbiciu Grecji przez Rzym zaczął się powolny upadek Igrzysk Olimpijskich. Dopuszczono do startu w nich oprócz Greków jak było wcześniej, wszystkich mieszkańców Imperium Rzymskiego. W wieku III n.e. Olimpię nawiedziły trzęsienia ziemi oraz najazdy barbarzyńców. W odpowiedzi na to wzniesiono umocnienia korzystając z materiałów z istniejących budynków. W 393 odbyły się ostatnie igrzyska olimpijskie, które następnie zostały zakazane przez cesarza Teodozjusza I. Było to związane z jego walką z kultami pogańskimi i propagowaniem chrześcijaństwa. W następnych wiekach Olimpia była niszczona zarówno przez przyrodę jak i przez chrześcijan.