尽管法兰士约瑟夫地群岛的正式发现发生在十九世纪下半叶，但是早在1763年时，M.V.罗蒙诺索夫（Mikhail Vasilievich Lomonosov，是俄罗斯第一位重要的科学家博物学家，被称为博学者）在他的“北海各种航行的简要描述和西伯利亚海洋可能通过东印度的迹象”中就已暗示了斯瓦尔巴群岛以东存在岛屿的可能。
1865年，俄国海军上将N. G. Schilling在其发表于《海集》的文章《对北极海新航线的思考》中，基于对北冰洋西部冰层运动的分析，而认为在斯瓦尔巴群岛以北存在一个未知的陆地。
1860年代末，俄罗斯气象学家A. I. Voeikov通过对巴伦支海冰层的观察，提出了组织一次大型探险队研究极地海洋的建议。这个想法得到了地理学家克鲁泡特金王子的热烈支持。
“在斯瓦尔巴群岛和新地岛之间，仍有尚未发现土地，它延伸到斯瓦尔巴群岛以外的北部，并在它后面保持着冰......”俄罗斯海军军官席林男爵在他关于北冰洋洋流的出色但鲜为人知的报告中指出了这样一个群岛存在的可能。
于是他们在1871年制定了探险的详细项目，但由于政府拒绝为其拨款，因此这个计划没有成行。
与此同时，奥匈帝国为了开辟东北航道，也在这一年派出了资深北极探险家朱利叶斯·冯·佩耶和卡尔·魏普雷希特组成的探险队开展北极探险工作，正如佩耶所说，“我们的理想目标是东北航道，我们当前明确的目标是探索新地岛东北部的海洋和陆地。”
1872年，探险队乘坐奥匈海军的特格特霍夫号（纪念1871年逝世的奥地利海军原司令特格特霍夫）踏上了北极探险的征程。这次探险旨在检验德国科学家奥古斯特·彼得曼关于存在温暖的北极海和广阔的极地大陆的假说。（这次探险由奥地利宫廷大臣汉斯·威尔切克伯爵资助）

1873年8月，卡尔·魏普雷希特和朱利叶斯·冯·佩耶率领的奥匈帝国探险队乘坐“特格特霍夫号”（德语：Admiral Tegetthoff）在新地岛东北海域发现了一片无人居住的无主群岛，探险家们遂以当时的奥匈帝国皇帝弗朗茨·约瑟夫一世之名命名了这里。魏普雷希特和佩耶尽可能地向这片土地的北部和南部进行探索。

1874年4月，魏普雷希特和佩耶绘制出了这片广袤的群岛的第一张地图。由于旅途中海面结冰，探险队找不到大量海峡，群岛似乎由几个大岛组成。

1874年5月20日，因为洋面被冰封住，探险队被迫弃舰改用雪橇和小艇，他们越过冰层前往新地岛海岸，在那里他们会见了协助这次探险返回的俄罗斯波莫尔人渔民。

1874年9月，探险队弃舰改用雪橇和小艇（因为洋面被冰封住）最终到达了俄国大陆，他们之后在返回维也纳时受到了热烈欢迎。法兰士约瑟夫地群岛正式成为了奥匈帝国在北极的海外领地，奥匈帝国计划效仿丹麦对格陵兰岛的移民那样向法兰士约瑟夫地群岛的岛上输送移民，但是这片苦寒之地对于奥匈的臣民来说没有任何吸引力，移民计划最终变成了烂尾工程，法兰士约瑟夫地群岛最终变成了奥匈帝国徒有其表的殖民地。

从19世纪70年代后期开始，来自德国、英国、挪威、美国乃至俄国的探险者们纷纷开始探索起法兰士约瑟夫地群岛，命名了这片群岛的不少岛屿。与此同时的是，法兰士约瑟夫地群岛的工业也开始发展了。比如，在1897~1898年时，苏格兰毛皮商T.罗伯逊造访法兰士约瑟夫地群岛，杀死了约600只海象和14只北极熊。
1901年夏，在俄罗斯帝国海军少将斯捷潘·奥西波维·马卡罗夫的指挥下，俄国的探险队第一次探索了法兰士约瑟夫地群岛的南部和西南部海岸。一些消息称，是马卡罗夫首先在法兰士约瑟夫地群岛升起了俄罗斯国旗。
1913~1914年，俄国G. Ya. Sedov的远征队乘坐纵帆船“Mikhail Suvorin”（“ Saint Foka ”）在胡克岛附近的蒂哈亚湾越冬。1914年2月20日，Sedov（谢多夫）在试图到达极点的途中于距离鲁道夫岛奥克角不远的地方去世，据称他被埋葬在那里（随行的水手在地图上定位不佳，后来找不到埋葬地点）。1914年3月1日，纵帆船的第一位机械师 J. Zanders 死于坏血病，被安葬在提哈亚湾的岸边。
1914年6月26日，该队的10名成员在冰封中漂流，设法从纵帆船“圣安娜”号到达亚历山德拉岛西端。1912 年，这艘纵帆船在亚马尔半岛海岸附近被冰困，向北漂流，在 542 天内航行了 1540海里，最终到达法兰士约瑟夫地群岛以北的160公里处。由于长期的需要和饥饿，船上的船员分头行动——14 人在航海家瓦莱里安· 阿尔巴诺夫 (Valerian Albanov)的指挥下出发穿越冰层前往群岛，而留在船上的13人在探险队长乔治·布鲁西洛夫 (Georgy Brusilov ) 中尉的带领下失踪了。阿尔巴诺夫的队伍出发，沿着群岛南部海岸向东移动，到达杰克逊-哈姆斯沃斯探险队的旧基地——在诺斯布鲁克岛的弗洛拉角，但只有两人成功——阿尔巴诺夫和水手康拉德，其余人则都死亡或失踪了。7月17日，布鲁西洛夫探险队的最后一批队员意外遇上G.Ya.Sedov探险队的“圣福克”号纵帆船，因没有燃料返回大陆，被迫前往开普角。
1914年8月16日，在G.Ya.Sedov探险队前往弗洛拉角的搜索过程中，帆船格里塔（Greta）成功破冰，搜索探险队的负责人为船长伊斯利亚莫夫。从留在古里亚的笔记中，谢多夫和布鲁西洛夫远征的命运为人所知。岸上留下了一些食物、武器和衣物，是用来防布鲁西洛夫的其他探险队员靠近的。伊斯利亚莫夫宣布该群岛为俄罗斯领土，并在其上方竖起了一面用铁皮制成的俄罗斯国旗。在船上的艺术家S.G.Pisakhov绘制了法兰士约瑟夫地群岛的海岸素描。

1916 年9月20日，俄罗斯外交部发布了一份关于俄罗斯帝国极地财产的官方照会，其中政府列出了北极水文考察以前已知和最近发现的极地海洋被认为是帝国不可分割的一部分，其中没有提到法兰士约瑟夫地群岛，伊斯利亚莫夫的倡议也没有得到政府官员的法律支持。
但是，进入20世纪以来，不同国家都开始扩展计划，使用飞机和飞艇探索高纬度地区。航空航天的飞速发展，表明了在不久的将来，人类将到达北极所有难以到达和以前未探索过的地区。在此背景下，法兰士约瑟夫地群岛从以前因交通不便和缺乏丰富的自然资源而主要具有科学意义的情况转变成为了未来跨北极交通路径上的关键点之一。
并且在后来，由于在一战的战败，奥匈帝国内部矛盾激化，最终走向了解体，法兰士约瑟夫地群岛再一次成为了无主之地。
1926年4月15日，苏联中央执行委员会主席团通过了《关于宣布北冰洋的土地和岛屿为苏联领土的法令》（《北冰洋陆地和岛屿为苏联领土的宣言》），宣布苏联对一切已知的和尚未发现的土地和岛屿的权利在从北部边界最西点（苏联与芬兰的边界 32°4'35 E）和白令海峡中部（168°49'30 W）延伸的子午线之间的北极圈内封闭的岛屿向东到北极。这自然意味着法兰士约瑟夫地群岛被正式宣布在苏联的完全管辖之下。在行政上，法兰士约瑟夫地群岛被包括在阿尔汉格尔斯克地区。该法令是在准备第一次飞艇跨极探险期间时通知了挪威。【注：1926年5月11日，阿蒙森搭乘从意大利购买来的“诺加”号飞艇从挪威北部的斯瓦尔巴的国王湾起飞开始首次飞越北极。此事具有重大意义，是人类首次飞越北极。】

如今，法兰士约瑟夫地群岛属于俄罗斯联邦。虽然位置偏远但地下有煤炭、石油和天然气，俄罗斯联邦在岛上建立了“三叶草基地”（Nagurskoye (air base)），以准备将来在这里开采天然资源。根据2012年的数据，它由192个岛屿组成，领土总面积为16134平方公里。随着现代气候变暖，群岛上的冰盖正在减少，这导致了新岛屿的出现。在2015~2019年期间，人们在分析卫星图像时，在法兰士约瑟夫地群岛和新地岛群岛地区发现并登记了大约40个新的岛屿、海角和海湾，这也要归功于爱好者。

2022年7月13日，奥地利邮政发行了《奥匈帝国北极探险150周年》小全张1枚（包含2枚邮票），以此纪念1872年至1874 年的奥匈帝国佩耶和魏普雷希特探险队的北极探险150周年。

从奥匈帝国的领地变为俄国领土，法兰士约瑟夫地群岛的那些事