Temmelig højt i byens sydvestlige hjørne ligger Karlby Kirke ved Veggerslev på Djursland, hvortil landevejen i dag går nord om kirken, mens man, før den motoriserede trafik vand indpas, passerede kirken søndenom.
Den romanske kirkebygning byggedes oprindeligt af kridtstenskvadre fra kystens klinter. I sengotisk tid blev skibet ombygget til en såkaldt langhusbygning også af kridtkvadre samt senere munkesten. Samtidig hævedes bygningen, hvælvingerne indsattes og styltetårnet opførtes mod vest.
Våbenhuset er af ret sen dato, velsagtens omkring år 1800, opført ud for skibets syddør, mandsindgangen. På den velbevarede nordside ses antydninger af kvindeindgangen.
Betragter man kirkegygningen fra nord, ses tydeligt rundbuefrisen samt 2 billedkvadre i kridt, hvoraf det ene forestiller Samson og løven.
Karlby kirke rummer en af stenhyggermester Horders døbefont og lokale er ikke i tvivl om, at er den smukkeste i det ganske Djursland. Altertavlens ældste dele går tilbage til renæssancen, og alterbilledet er et nadvermotiv fra 1928 af Chr. Lemvigh-Müller. Nogle mener dog at man skulle have bibeholdt alterbilledet fra 1700, der nu hænger til højre for kirkens indgang på sydvæggen. De sengotiske alterstager med løvefødder er fra ca. 1550, men alterkalk og disk stammer fra en Randers-sølvsmedje og er forsynet med årstallet 1807.
En såkaldt bark, bygget af skibstømrer Holger Wendelboe fra Grenaa, tjener som kirkeskib.
Ingen ved nøjagtigt, hvorfor en lille luge i et krydshvælv i sin tid indsattes, men bag den skjultes under anden verdenskrig en gruppe flytninge, som deroppe hørte såvel evangeliet som præstens prædiken, inden de ad søvejen smugledes til Sverige.
