史料显示，在列宁格勒战役中，德军占领了皇村的沙俄皇宫。德军发现琥珀屋后，将其拆卸并运往德国，并藏匿于德国柯尼斯堡的皇家城堡内，由德军日夜守卫。
藏宝的大厅面积小于叶卡捷琳娜皇宫，琥珀屋有一部分放不下，只能另存他处，这就造成琥珀屋部分组件脱离主体而单独存放，也是琥珀屋艺术品遗失的开始。1944年，英军大规模轰炸柯尼斯堡，使全城陷入火海，数万人被炸死。有目击者说，皇家城堡的藏宝厅被炸塌，德军在轰炸间隙，将琥珀屋转移到城堡的另一大厅里藏匿，琥珀屋得以躲过大轰炸而幸存。1945年4月9日，苏联红军攻击柯尼斯堡城，德国守军一面做困兽之斗，一面顺暗道撤军突围，战斗打得异常惨烈，德苏两军和市民均有很大伤亡。4月11日，藏匿琥珀屋的皇家城堡突发大火，琥珀屋受损与否无人知晓，此时，战局堪危，国宝守军已撤，琥珀屋从此不知所踪。
到1946年，二战的硝烟刚刚散尽，苏德便开始搜寻琥珀屋，但一无结果。寻找者都认为它已不复存在，要么毁灭于柯尼斯堡大轰炸，要么殒命于轰炸之后的全城大火。有专家提出，琥珀屋在战时已经从柯尼斯堡运抵德国科堡市，还有人猜测，说琥珀屋藏在东德盐矿或美国的银行保险库里。欧洲还一度流行琥珀屋已坠入深海的说法。
20世纪90年代，琥珀屋中的一件稀世珍品，意大利佛罗伦萨风格的马赛克画《触觉与嗅觉》突然现身。它完成于1787年，是沙皇叶卡捷琳娜二世高价向意大利画师订购的三幅作品中的一幅，并悬挂于琥珀屋中。此画一露面就引起轰动。调查表明，这幅画的主人是一位曾在叶卡捷琳娜皇宫参与劫持琥珀屋的德国军官，在运送琥珀屋时监守自盗。他将《触觉与嗅觉》偷走，藏在德国不来梅的一家公证处。多年过去，德军军官或死或失踪，不再认领名画，不来梅公证处遂伺机变卖，不料遭人检举，《触觉与嗅觉》遂被德国政府没收。后来，公证处同意将它捐赠给不来梅城市博物馆，而该博物馆又决定将其交还俄罗斯圣彼得堡叶卡捷琳娜皇宫博物馆。
还有几种说法，比如琥珀屋被漏网的纳粹军官带走，后被盟军缴获，并被美国调查纳粹德国毁坏世界文物的专家秘密运往美国，多年后辗转落入个人收藏家之手，至今秘而不宣。而奥地利《标准报》曾报道说，德军派遣47名士兵将琥珀屋悄然藏匿于丹麦日德兰半岛一个名为阿萨的居民点，参与运输和藏匿的46名德军士兵都已死去，只有克拉夫特一人尚存，他不愿将秘密带入棺材，于是接受《标准报》采访，公开琥珀屋藏匿的秘密。当然，克拉夫特的说法并未得到证实。琥珀屋已消失多年，但世人的关注有增无减。
