“为了工人大众的事业，各国人民必须一心一意，对付我们共同的敌人！”“我们要团结起来解放自己！”这是1864年9月28日，伦敦圣马丁教堂里工人们争相发言的热烈场面。
原来，这里正在举行集会，支援波兰人民反抗沙皇统治的斗争。会议大厅里挂满了许多国家的国旗。当时，也来出席大会的马克思看到这种景象非常高兴，他感觉到，必须全世界的工人无产者联合起来，组成工人联合组织，以便更好的开展工作。
这次大会就是英国工人联合法国工人而召开的，英法工人首先发言，鼓励倡导大家团结起来，共同斗争。这标志着工人运动已进入一个新的发展时期，建立国际工人组织的时机已经到来。
在马克思的支持下，各国工人共同要求，大会成立了“国际工人协会”即“第一国际”，还选举成立了其领导机构——中央委员会，后改称为“总委员会”，马克思当选为总委员会委员，担任德国通讯书记。大会委托马克思起草纲领和章程，在起草之前，还有一段不小的风波。本来，大会决定由总委员会领导起草纲领和章程，马克思因为身体不适而未能参加，这样，各国代表之间便产生了严重的分歧。
英国代表起草纲领时，把改善工人的地位放在第一位，要求工人阶级为了经济利益而斗争，而意大利代表则要求把意大利工人协会的章程写入第一国际的章程，甚至提出要成立一个以意大利人为首的“欧洲工人阶级中央政府”，这明显是偏袒于意大利的工人，会在第一国际中造成不同意见，甚至分裂。不管是英国或意大利代表，他们所提出的问题都是关于经济利益，而没有提到工人阶级所迫切要求的政治地位问题。而工人的政治利益才是最根本的利益，有了政治地位作基础，其他一切问题都可以解决。
德国代表看到这么多不同意见，便写信通知马克思，马克思接到信后，立刻意识到，这样下去会产生严重问题，会脱离组建第一国际的实质与意义。因此，10月18日，马克思抱病来参加会议。
总委员会又经过长时间激烈的争论，在10月20日作出最后决定，由马克思负责对文件作具体的修订。于是，马克思不顾身体不适，严肃认真地把所有文件进行审阅、修改。经过七天七夜的辛勤劳动，马克思于10月28日，向总委员会提交了修改后的文件。文件共有两份：《第一国际成立宣言》和《第一国际共同章程》。总委员会在紧接召开的全体会议上，一致通过了马克思修改后的《成立宣言》和《共同章程》。
《成立宣言》是第一国际的纲领性文件，它对国际工人运动的目标十分清楚，它说：“夺取政权已成为工人阶级的伟大使命。”国际工人阶级必须团结起来，组建一支强有力的队伍，只有如此，才能最终战胜资产阶级。工人阶级也只有团结在自己的组织里，才能促进国际工人运动的发展，赢得自身的解放。
第一国际成立之后，立刻组织各国工人开展运动，掀起了国际工人运动的高潮。例如1866年英国裁缝工人大罢工，1867年法国青铜工人大罢工，1868年日内瓦建筑工人大罢工等，这些斗争，在第一国际的大力支持下，都获得了胜利。第一国际在支持各国工人反对各国资产阶级，争取自己应有的权益的同时，也在同各种机会主义者作坚决。这些斗争主要有与普鲁东主义和巴枯宁主义的斗争。
普鲁东主义的代表人物是普鲁东，是一个无政府主义者的典型代表，他主张取消国家、取消政党，实现个人的绝对自由，不受任何拘束。普鲁东主义这种想法说透了，就是要求世上所有的人，肆意妄为。这种主张明显是不合实际，也是根本行不通的。但是，真是萝卜白菜，各有所爱，这种无政府主义思想居然在法国、西班牙、意大利等国家有不少信徒，不少人在为之鼓吹。
本来，普鲁东在世界各地捣乱，还没有发展起来，也就算了。可是，他居然找到了第一国际来捣乱，这就使第一国际的领导们不能视而不见了。
1864年秋，普鲁东趁人不注意，加入了第一国际，到1865年1月，他就死了。他虽然死了，可是，他的信徒却有不少也跟着地混进了第一国际，而且已经形成一股不小的势力，到处作怪。有时还尝试夺取第一国际的权力，用他们的无政府主义思想改变第一国际的性质。如1865年9月，第一国际代表会议在伦敦召开。会议刚一开始，就有不少人违反第一国际的纲领，当第一国际要组织工人斗争，他们说，那没有必要！各国有各国的情况，无法指导，更无法组织等。第一国际要援助波兰工人反对俄国沙皇统治，他们又说，那是波兰工人自己的事，第一国际无须去把这件小事列入议事日程等。