Familia baschetbalistului, un tânăr star în plină ascensiune la vremea aceea, nu a crezut în durabilitatea relaţiei, astfel încât au fost îndepărtaţi de Kobe, revenind la o legătură mai strânsă abia după naşterea primei fiice, Natalia.
Prima lovitură, atât pentru Vanessa, cât şi pentru Kobe, a venit în vara lui 2003, când o angajată a hotelului unde Bryant era cazat l-a acuzat că ar fi violat-o în camera sa, cu o noapte înainte ca jucătorul să fie supus unei operaţii la genunchi. Vanessa i-a rămas alături lui Kobe, dar tensiunea imensă în care au trăit acea perioadă şi-a pus amprenta pe sănătatea ei şi a pierdut o sarcină. În 2004 procesul penal al lui Kobe a fost anulat, din cauza faptului că presupusa victimă a refuzat să depună mărturie, dar a continuat în civil, acolo unde cele două părţi s-au înţeles în afara tribunalului.
Gianna, fiica de 13 ani care a decedat alături de tatăl său, s-a născut în 2006. În 2011 Vanessa a intentat divorţ, dar după doi ani de încercări, cei doi au reuşit să-şi repare relaţia şi chiar au mai avut două fiice, una în 2016 şi una în vara lui 2019.