We wsi, na wzgórzu między dwoma jeziorami – to niejedyny zamek krzyżacki tak położony. Co go wyróżnia? To, że do budowy zamku, rozpoczętej w XIII wieku, użyto prawie wyłącznie kamieni narzutowych oraz niewielkiej ilości cegieł.
Zabudowania zamkowe miały kształt kwadratu o boku około 30m. Nie widać tego obecnie – z zamku zachowały się jedynie fragmenty murów i umocnień, tu i ówdzie widać kawałki sklepień. To piękne, nostalgiczne miejsce. I tylko żal, że zaniedbane.
A skąd nazwa Papowo Biskupie? Stąd, że przez ponad 2 i pół wieku była to własność biskupów chełmińskich.