W końcu XIV w. jak zanotowały kroniki, Wisła odsunęła się od Czerska o 2 kilometry. Wtedy jedna z odnóg rzeki zagroziła Dudzie, co zmusiło ich właścicieli - Duckich - do zabezpieczenia się przed wylewami i przystąpienia do karczowana lasu, położonego na wyższym terenie. Od karczowanego terenu nowe osiedle przyjęło nazwę Karczewie. Zabezpieczona od wylewów i położona obok lasu nowa osada stała się atrakcyjna. Polowania na zwierzynę, zbieractwo owoców leśnych, dostatek drewna zarówno budowlanego jak i na opał a  także rybołówstwo spowodowały, że Karczew rozrastał się i bogacił.

W 1408 r. wymieniany jest Wit z Dudy i Otwocka, który miał częste sprawy w  sądach. W 1421 r. otrzymał on stanowisko stolnika czerskiego a 24 II 1428 r. dokonał podziału swoich dóbr (Duda, Otwock, Karczew i inne posiadłości) między synów. Dla siebie i potomków z trzeciej żony zatrzymał osadę położoną na wykarczowanym lesie - Karczew - i trzecią część Otwocka. Odtąd synowie Wita na Karczewie, zaczęli nazywać się Karczewskimi. Jednak Otwoccy, Duccy, Karczewscy a także jeszcze inni w  okolicy należeli do wspólnego rodu Jasieńczyk, mającego w herbie złoty klucz, to była jedna rodzina panów tych ziem.

Po Wicie, panami na Karczewie byli jego synowie: Marcin, Wojciech i Stefan Karczewscy. Głową rodu został Marcin, którego potomkowie sprawowali znaczące funkcje w  administracji, wojsku a także w kościele. Najstarszy jego syn Jakub studiował na uniwersytecie krakowskim, w 1509 został kustoszem warszawskim, był także kanonikiem warszawskim i podkanclerzym mazowieckim (1497). Paweł został wojskim warszawskim, Andrzej - proboszczem w Babicach, potem w Górze. Najmłodszy zaś, Marcin, wojski liwski (1499), potem czerski, został dziedzicem Karczewa i Jabłonny.

Tenże Marcin w 1513 r. przeprowadził znowu podział swych dóbr. Synami jego byli: Jakub - proboszcz w Górze, który to stanowisko otrzymał po stryju Andrzeju, Franciszek i Jan - ożenieni z siostrami Małgorzatą i Barbarą Duckimi, co w dużej mierze połączyło główne części rodowe Dudę i  Karczew. Z Anną z Karczewskich ożenił się sędzia grodzki czerski Serafin Całowański (1534), którego syn Jan, stał się przez to właścicielem niektórych włości Karczewskich. W 1539 r. z prawobrzeżnej części Ziemi Czerskiej utworzony został powiat garwoliński, do którego należał również Karczew.