该画像一直由她本人保管。1498年4月26日，贪婪的收藏家伊莎贝拉·德斯特给她写了一封信，她在信中似乎是在给切奇利亚下命令一般（信中的口气还算友善，因为伊莎贝拉是贝娅特丽丝的姐姐）：
我们今天碰巧看到佐亚内·贝利诺（即乔瓦尼·贝利尼）一些制作精美的肖像画。我们后来谈到列奥纳多的作品。为了与我们收藏的画作加以比较，我很想一睹他的作品的真容。听说列奥纳多·达·芬奇曾为你画过像，你能否将你的画像交给带给你这封信的人，让他带回让我欣赏一下。除了比较之用外，我们很高兴能一睹你的芳容。我保证欣赏完后马上还你。
4月29日，切奇利亚回信说她已将画寄出，她在信中写道：
如果画中人更像我的话，我会更加乐意将其寄出。夫人您不要以为这是大师的失误造成的，我真心相信他是无与伦比的。只是因为绘制这幅画像的时候，我尚处于发育的阶段，如今我已经大变样了，所以如果您将这幅画像与现在的我放在一起比较的话，没有人会相信画中人就是我。
这并非此画像的最后归宿。1536年，切奇利亚去世，之后的一段时间该画都存放在米兰。到了18世纪，根据安布洛西亚纳图书馆管理员卡洛·阿莫雷蒂记载，“此画仍然还在米兰，是博纳萨娜的侯爵夫人的收藏品。”他还暗示有一些画是以这幅画为模型所作：一幅是手持齐特琴的“圣切奇利亚”；在另一幅画中，“画中的女士气质高贵，与第一幅中的她一模一样，是列奥纳多在她花季年华时所作，但她手里没有齐特琴，换成了身上长袍的一处衣褶”。后来约在1800年，波兰王子亚当·耶日·恰尔托雷斯基将此画买走，送给他的母亲伊莎贝拉。她将此画挂在自己的美术馆里，美术馆名为“哥特屋”，位于克拉科附近的普瓦维庄园内。这一时期，有人将错误的两行字加到画的左上角处：
拉·贝尔·费罗尼耶
列奥纳多·达·芬奇
伊莎贝拉·恰尔托雷斯基在一段笔记中解释说，这幅画“应该是法国国王弗朗索瓦一世的情妇的画像。她名叫拉·贝尔·费罗尼耶，她丈夫据说是个五金商”。是列奥纳多绘制了这个不太出名的法国女人的观点没有变，而另一个谬误之处是将这个法国女人又认为是他在米兰绘制的另一幅画中的人物。
1842年，恰尔托雷斯基家族被流放到巴黎，该画也随之被带到那里。它在他们住的兰伯特酒店的房间里存放了三十年，而法国艺术界似乎对此事一无所知。在阿尔塞纳·乌塞1869年列出的详尽的列奥纳多作品的目录里，他称此画已经失传。普法战争之后，恰尔托雷斯基家族重返波兰，《怀抱白鼬的女人》也于1876年在克拉科的恰尔托雷斯基博物馆里第一次被正式公开展出。直到20世纪初，世人才相信这幅画是由列奥纳多所作，画中人物就是贝林乔尼等人所记载的那位切奇利亚·加勒拉尼。
第二次世界大战期间，《怀抱白鼬的女人》经历了最后一次冒险。就在纳粹德军1939年入侵波兰之前，此画与恰尔托雷斯基收集的其他名画都藏于谢尼亚瓦，其中有一幅伦勃朗的风景画和拉斐尔的肖像画，但德军最后发现了这个地方。《怀抱白鼬的女人》随之被带到柏林，在凯泽·弗里德赖希博物馆展出了不长一段时间之后，就置于希特勒设在林茨的私人博物馆中，但最终成为纳粹设在波兰的指挥官汉斯·弗兰克的私人藏品。1945年，波兰美国委员会在汉斯巴伐利亚的别墅里发现了这幅画。这帧胡桃木画板上铭刻着爱情和战争的记忆，这段记忆始于列奥纳多1489年的工作室。