据说很早以前，夏禹治水时，河南洛阳附近的大河里浮出了一只乌龟，背上有一个很奇怪的图形，古人认为是一种祥瑞，预示着洪水将被夏禹王彻底制服。后人称之为"洛书"或"河图"。
如果把图形改成现在通行的阿拉伯数字，就成了下图的样子。
| 4 | 9 | 2 |
| 3 | 5 | 7 |
| 8 | 1 | 6 |
我们注意到左面的图形中，九个数字正好是从1到9，既无重复，也没有遗漏，但它们并不是按递增或递减顺序来排列。按照左图的排法，到底有何奥妙呢？
原来，图中任意一横行、一纵列及一条对角线上的三个数字之和全都相等，等于15。具有这种性质的图表称为"幻方"或"纵横图"。上面这个三行三列的幻方就称"三阶幻方"，15是三阶幻方的常数。古代又称三阶幻方为"九宫"。古书上记载："九宫者，二四为肩，六八为足，左三右七，载九履一，五居中央。"
把上面的九宫图旋转90°、180°与270°，再把它们与原图一起画在透明纸上，从反面来观察，这样一共可以得到八个图，但它们并无实质上的不同。
现已证明：三阶幻方只有一种构造方法。南宋数学家杨辉，在他著的《续古摘奇算法》里介绍了这种方法：只要将九个自然数按照从小到大的递增次序斜排，然后把上、下两数对调，左、右两数也对调，最后再把中部四数各向外面挺出，幻方就出现了。
杨辉还介绍了四阶幻方的构造法，并列出了4，5……10各阶幻方图。