A felvidéki Losoncon született 1768. március 14-én.
Művelt és jó összeköttetésekkel rendelkező protestáns lelkészfamília gyermeke, apja Kármán József evangélikus lelkész, később püspök, anyja Szalay Klára.
A család nemzedékekre visszamenően a Rádayak párfogását élvezte, s az ifjú Kármán József is profitált e kapcsolatból. A kalapos király évtizede a karrier lehetőségét is megnyitotta a nagytehetségű ifjú előtt, s talán ez lehet a magyarázata, hogy a családi hagyományokkal ellentétben jogi pályára készült.
1785-től Pesten, 1788-tól Bécsben joghallgató. Szerelmi viszonyba bonyolódott gróf Markovics Miklósnéval, egy kalandor katona szép, de könnyelmű nejével. Alaptalanul tekintik ezt a kapcsolatot a Fanni hagyományai című regénye ihletőjének. 1788-ban Pozsonyban letette vizsgáit, s 1791 vége felé a pozsonyi országgyűlés után Pestre költözött, s ügyvéd lett. Belépett a Zur Barmherzigkeit (A hét csillaghoz) nevű szabadkőműves páholyba. Fönnmaradt ezzel kapcsolatos német nyelvű önéletrajza.
Megnyerő egyénisége, műveltsége révén bejáratos volt az előkelő szalonokba. Toldy Ferenc a kortársi emlékezetet idézve Pest Alkibiadészének nevezte. Sűrűn fordult meg protestáns főúri házakban (Ráday, Beleznay, Podmaniczky). Ráday Pál mellett részt vállalt az első magyar színtársulat szervezésében, szabályzatának kidolgozásában. 1794 elején indította el Uránia című negyedéves folyóiratát. Kapcsolatba került Martinovicsék mozgalmával.
1795. április 5-én, atyja halálakor - még Martinovicsék kivégzése előtt - hazament Losoncra. Megszabadult a nála levő titkos iratoktól.
1795. június 3-án, tisztázatlan körülmények közt hunyt el. Neve már-már feledésbe merült; Toldy Ferenc fedezte fel újra.
A magyar irodalomtörténet egyik legtündöklőbb tehetsége torzóban maradt életművét egyetlen év alatt, 1794-ben alkotja meg. Ekkor indítja negyedéves folyóiratát, az Urániát. Valószínűleg az irodalmi pálya felé az egyéb lehetőségek beszűkülése terelte. Erre utal, hogy a folyóiratnak megindulásakor bőkezű mecénása van (gróf Beleznay Miklósné és egy ismeretlen), viszont nincs az ifjú szerkesztő körül csapat, segítője is mindössze egy literátus hajlamú orvostanhallgató, Pajor Gábor, a másik közreműködőt, Schédius Lajost inkább alkalomszerű kapcsolat fűzte a periodikához. Kármán József volt az utolsó a 18. századi vége jelentős irodalmárai közül, aki bízott abban, hogy a „tudományok” művelésére egzisztenciát lehet építeni. Erről tanúskodik az a mód, ahogyan ő a nemzeti nyelven művelt irodalomról gondolkodik. Meglehetősen gyorsan csalódnia kell, a bőkezű mecénás visszavonul.
A tudományos ismeretek terjesztését tekinti a periodika legfontosabb feladatának. A három számot megért lapot a nőolvasóknak ajánlja: „Nem bántjuk a férfiúi nemet, ha azt állítjuk, hogy a szép nem az ízlés uralkodónéja”. A hölgyektől várja, hogy rávegyék a férfiakat az irodalom, a nemzeti nyelv és tudomány megbecsülésére. Az Urániában Csokonai-versek is megjelentek, hét költemény névtelenül.
A folyóirat utolsó számában adja közre A nemzet csinosodása című átfogó művelődési programját. Részletes, megfontolt tervezetet bocsát ki, melyben pontról pontra elősorolja a magyar tudomány és művészet fejletlenségének okait, majd hosszú távra meghatározza az előrelépés feltételeit. Kármán véleménye szerint a magányos élet elzár a világtól és elzár a gondolkodástól: „A tehetségek halva feküsznek. Meggátolja a henye és vad életmódja azoknak kifejlődését.” A nyelv fejlesztésének kérdésében az eredeti művek fontosságát hangsúlyozza: „Eredeti munkák gyarapítják a tudományokat, csinosítják a nemzetet és emelik fel a nagy nemzetek ragyogó sorába. Nagy akadálya az nálunk a tudományoknak, hogy nálunk termett eredeti munkák még eddig nincsenek.” Kitér a könyv hazai megbecsülésére: „...a könyv háznál nálunk legutolsó jószág, és ennél kedvesebb egy játékkártya vagy egy üsző, azt fájdalmasan látjuk, akik hazánkat esmérjük.” Az igazi író megbecsülését követeli, aki „vezeti végre a népet a józan értelem kötelein a maga kötelességeire, és a szív édes láncain a maga boldogságára.”
Az Uránia Bevezetése és a Nemzet csinosodása az 1780-as évek nyelvi-irodalmi mozgalmának talán leginkább távlatos összegzése és továbbgondolása. Kármán úgy folytat, hogy ugyanakkor tagad is. Ő a nyelvkérdést háttérbe szorítja, és az eredeti művek írását állítja előtérbe. Az eredetiség középpontba állítása a nyelvi-irodalmi mozgalom ideológiai céljának - az írástudók önérvényesítésének - következetes, de legfőképpen igen bátor végiggondolásából származik. Az első értékelhető jele annak, hogy az író (vagy tudós) - szerzőként - vállalni meri a függő viszonyt olvasóközönségével. Kármán vonta le a leginkább radikális következtetéseket az 1780-as évek értelmiségének mozgalma által előhívott eszmékből, az irodalom itt veszi kezébe sorsát és szembe is néz ennek következményeivel. Ezek közül kétségkívül az eredetiség a legfontosabb mozzanat, hiszen ezzel válik egyértelművé, hogy ő nem a nemzet távlati érdekeire visszavezetett nyelv- és irodalomfogalomból indul ki, hanem olyan irodalomfogalomból, amely nem csak a nemzeti lét minőségének reprezentációja, hanem amelynek legitimációját már elsősorban maguk az olvasók adják. Ez magyarázza azt az igen komoly erkölcsi és gondolkodó bátorságot feltételező lépést, hogy ő nyíltan ki is mondja a nemzeti nyelv státusának megváltozását: a nemzeti irodalom és a nemzeti nyelv útjai különválnak egy történelmi pillanatra, az irodalomnak önmagában, saját érdekeire alapozva kell megállnia olvasói előtt, és nem támaszkodhat a nemzeti nyelv ügyének mankójára.
Kármán az az irodalmár, aki nemcsak kijelenti, hogy eredeti, saját „környülállásainkat” ábrázoló művek ébreszthetik csak fel az olvasók érdeklődését, de ír is eredeti művet, vagyis elméletét meg is valósítja a gyakorlatban.
A Fanni hagyományai 1795 az Uránia utolsó kötetében jelent meg. Keletkezésének külső körülményeiről nincsenek adatok, nem tudjuk, mikor készült, forrásait nem ismerjük. Keretes történet, a fikció szerint a kisregény férfihőse, T-ai József küldi el a szerkesztőknek elhunyt kedvese „hagyományai”-t azaz naplóját és leveleit. A kísérőlevél annyira hitelesnek tűnt, hogy a 19. században sokan és sokáig valóságosnak fogadták el Fanni történetét.
A Fanni hagyományai című napló- és levélregénye a Rousseau és Goethe nevével is fémjelzett érzelmes regényirodalom jelentős magyar változata. A mű története Fanni naplójából és báró L.-néhez írt leveleiből bontakozik ki. A vidéki nemeslány szeretet nélkül éli életét zord apja, mostohaanyja és mostohatestvérei között. Egy bálon megismerkedik egy fiatalemberrel. Kapcsolatuk azonban nem teljesedhet ki. A rágalmak, a szívtelenség a halálba hajszolják a hősnőt. Sokféle irodalmi előképe van a regénynek, ám a belső vívódás ábrázolása, a máig élvezetes stílus eredeti tehetségre vall. A Fanni hagyományait méltán nevezhetjük az első magyar lélektani regénynek.
A címszereplő érzékeny (azaz: indulatai, érzelmei uralkodnak okossága felett) s éppen az érzékenység teszi lehetetlenné számára a menekülés két lehetőségének, a reménykedés és a felejtés képességének birtoklását. Az elválás fájdalma így - a reményre való képesség nélkül - eleve megsokszorozott fájdalom volt, amelyet azután nem csökkenthetett - a felejtésre való képtelenség miatt - az idő, intenzitása továbbra is állandó marad, s ez végül felőrli, okszerűen őrli fel a személyiség erőit. „Az érzékenység az ő esetében végzetszerűen vezet el a halálhoz, Fanni tehát érzékenységének, azaz alkatának, tehát a természetnek az áldozata, alakja és sorsa azért érdekes, mert egy bizonyosfajta végzet sodorja a halálba. Ez az egyszerű és bájos, hétköznapinak tetsző vidéki nemeslány voltaképpen a természet rendkívüli szülötte, csodálatos, de ugyanakkor torz lény is, hiszen lelki élete - minden kedvessége ellenére - redukált lelki élet.” (Bíró Ferenc) Van benne valami vegetatív vonás, úgy, olyan védtelenül és olyan szükségszerűséggel „hervad el” (T-ai kifejezése), mint egy szép növény, amelyet megfosztottak táptalajától. Azoknak a virágoknak a sorsát éli, amelyekről a T-ai által a XL. részben oly érzelmesen felolvasott Gessner-részletekben esik szó, de - ugyancsak aligha teljesen véletlenül - ugyanebből az asszociációs körből kölcsönzi maga Fanni is a kifejezéseket saját, közelgő elmúlásának jellemzésére (LXI.)
A módi, Az új házas levelei, valamint a Fejveszteség című történelmi témájú, töredékben maradt kísérletei tehetségének sokoldalúságát bizonyítják. Stílusát nem jellemzi nyelvújító törekvés, mégis kifinomult, korszerű, a széppróza fejlődésének egyik ki nem aknázott lehetőségét példázza.