在使用的过程中，人们发现，其实并不一定要制造成鱼的外形，使用磁针会更方便。于是，指南针就诞生了。沈括在《梦溪笔谈》中就记载了这种指南针的制造方法，就是拿一根小钢针在磁石上反复摩擦，使其磁化。指南针不仅在外形上要比指南鱼更为简便，而且体积更小，被磁化的程度更强，使用方法也更为多样，可以将它放在指甲盖上或者是碗口边沿上，使其平衡，指南针就会自动旋转，停止下来的时候，所指的就是南北方向。但是在漂泊不定的船上，将指南针放在指甲盖上或者碗口上都不太固定，因此沈括建议在指南针的中部用少许蜡粘上一根细线，于无风处悬挂起来，这样，即使在航海的过程中也可以使用了。此外，沈括还发现，指南针所指示的方向，常常略偏东，并非正南。对于这种现象，沈括虽然不能加以科学的解释，但他的观察却与近代的地磁偏差学说完全符合。
后来，为了更准确地辨别方向，人们又把指南针与方位盘配合在一起使用，称为罗盘。方位盘仍然有24个方向，但大多采用圆形。这样人们就可以明确地知道自己的方位，而不再像原来那样只能知道一个大概的方向。
指南针一经发明很快就被应用到军事、生产、日常生活、地形测量等方面，尤其是在航海方面，指南针更是不可缺少的工具。在指南针没有发明以前，人们主要依据自己的经验以及靠太阳、月亮、星星等自然物来辨别方向。人们只能在沿着海岸线的近海地区活动，到茫茫的大洋深处航行只能是一个梦想。指南针的发明并被应用于航海后，人们才具备全天候的航行能力，才真正走向宽广的海洋。
一开始的时候，指南针只是作为天文导航的辅助工具，只有在阴雨天气之下才拿出来使用。随着人们对指针性质以及功能的认识不断加深，它也就越来越成为主要的导航仪器。航海者特地在船上设置放置指南针的场所，称为“针房”，并交给有经验的船员专门掌管，其他人不能随便进入。到了元代，指南针已经成了航海的基本装备之一，如果没有指南针就贸然出海，会被看成是一件不可思议的事情。
大约在12世纪末13世纪初，指南针由海路传入阿拉伯，又由阿拉伯人传播到西方。欧洲人对指南针加以改造，把磁针用钉子支在重心处，尽量使支点的摩擦力减少，让磁针自由转动。由于磁针有了支点，不再需要漂浮在水面之上，这种经过改造的指南针就更加适宜于航海的需要。大约在明代后期，这种指南针又传回我国。
指南针在古代主要被堪舆家们用于相宅相墓，同时也被用于航海及其他，正是这后者对人类社会进步发挥了巨大作用，因而指南针才得以跻身于古代四大发明的行列。指南针的运用，使人们获得了全天候的航行能力，开创了人类航海的新纪元。而航海业对人类社会的文明进程有着至关重要的推动作用——正是在茫茫大海中的探索，人们一次次发现新大陆与新文明，而这个过程中，指南针的作用不言而喻。我们今天的世界之所以是这个样子，指南针作出了不少贡献！这又是一个中华古代科技影响世界的例子！