Dosta nesporazuma koji su se dogodili usput rezultirali su time da je porodica Oatman na kraju putovala sama.
Četvrtog dana, porodicu je napala grupa američkih domorodaca (Olive ih je opisala kao članove plemena Apači ili ogranak Yavapai naroda). Samo tri člana porodice preživila su napad, a njeni roditelji i još četvero braće i sestara izgubili su život.
Njen brat Lorenzo pretučen je palicama i ostavljen na putu, zato što su smatrali da je mrtav. Lorenzo je na kraju uspio doći do naselja u Kaliforniji tako što se priključio originalnom vagonu. On je pronašao tijela mrtvih članova porodice i uspio ih je sahraniti.
Olive i njena sestra Mary Ann, koja je tada imala sedam godina, otete su.
Oni koji su ih zarobili koristili su ih kao robove. Nakon godinu dana zarobljenice su putem razmjene završile u rukama članova plemena Mohave, koji su ih bolje tretirali. Vođa plemena i njegova žena su najvjerovatnije usvojili djevojčice.
Kada su se pridružile plemenu Mohave, oni su im tetovirali brade. Iako je Olive kasnije tvrdila da su to uradili kako bi ih označili kao robove, stručnjaci tvrde da je ova vrsta tetovaža bila standardna praksa za pleme Mohave, zato što oni, prema tradiciji, vjeruju da one vode ka lijepom životu poslije smrti.
Kada je imala 19 godina, nastupile su velike suše i Mary Ann je umrla od gladi zajedno sa mnogim pripadnicima plemena. U ovom periodu krenule su glasine u evropskim zajednicama da postoje bjelkinje koje žive sa Mohave plemenom. Glasnik je stigao u selo Mohave plemena da zatraži da se Olive vrati svojim ljudima i nakon žučnih pregovora u kojima je i sama Olive učestvovala dogovoreno je da otputuje u Fort Yumu.
Kada je tamo stigla, Olive je morala zatražiti zapadnjačku odjeću budući da je bila obučena u tradicionalnu Mohave nošnju, što znači da nije nosila ništa iznad pasa. Nakon nekoliko dana otkrila je da ju je brat Lorenzo tražio.
Olive je postala instant zvijezda. Pisac Royal B. Stratton napisao je knjigu o američkim Indijancima koja se fokusirala na Olive i Mary Ann. Knjiga je postala bestseler i uz pomoć nje je plaćeno Lorenzovo školovanje u Londonu. Olive je išla na turneje kako bi promovisala knjigu.
Olive se 1856. godine udala za stočara Johna B. Fairchilda i usvojili su djevojčicu. Fairchild je, međutim, spalio sve primjerke knjige i stopirao je njenu turneju.
Kasnije tokom života, Olive je, navodno, otišla u New York kako bi razgovarala sa vođom Mohave plemena o „starim vremenima”. Uvijek je čuvala teglicu lješnjaka, po čijem je uzgoju Mohave pleme poznato, kako bi je podsjećalo na njeno iskustvo.
Umrla je 1903, u 65. godini.
Margot Mifflin je o njoj napisala knjigu pod naslovom “The Blue Tattoo: The Life of Olive Oatman”.
