Γεννήθηκε στο Χουμέρι Μυλοποτάμου Κρήτης και καταγόταν από παλιά αρχοντική οικογένεια. Σε μικρή ηλικία κατέφυγε με την οικογένεια του στην Αθήνα, καθώς ο πατέρας του,ο Γ.Καλλέργης, είχε πολεμήσει στο Αρκάδι και για αυτό επικηρύχθηκε από τις Οθωμανικές αρχές.
Παρόλο ότι στην ελληνική πρωτεύουσα μεγάλωσε στο ανακτορικό περιβάλλον και ανατράφηκε με συντηρητικές αρχές, ενώ ήταν ακόμα μαθητής στο γυμνάσιο μυήθηκε στις σοσιαλιστικές ιδέες από έναν καθηγητή του. Κατά τη διάρκεια των σπουδών του στην Αθήνα (σπούδασε αρχιτεκτονική) γνωρίστηκε με το Ρόκκο Χοϊδά και τον Πλάτωνα Δρακούλη και είχε έντονη ανάμιξη στο φοιτητικό κίνημα.
Τον Μάιο του 1890 ίδρυσε στην Αθήνα τον Κεντρικό Σοσιαλιστικό Σύλλογο, που αποτέλεσε τον πρώτο σοσιαλιστικό πυρήνα στην Ελλάδα, ο οποίος το επόμενο διάστημα απέκτησε παραρτήματα και σε άλλες πόλεις. Τον επόμενο μήνα ξεκίνησε να εκδίδει την, αρχικά δίμηνη εφημερίδα Σοσιαλιστής στην οποία ανέπτυξε ένα επαναστατικό για την εποχή του σοσιαλιστικό πρόγραμμα. Το πρόγραμμα αυτό μεταξύ άλλων περιελάμβανε: απόλυτη ελευθερία λόγου και συνείδησης, 8ωρη εργασία, κατώτατο μισθό, αργία την Κυριακή κ.ά..
Η πραγματοποίηση αυτών των στόχων κατά τον Καλλέργη μπορούσε να γίνει αν ένα σοσιαλιστικό κόμμα κατάφερνε να κατακτήσει την κοινοβουλευτική πλειοψηφία καθώς και με τους συνδικαλιστικούς αγώνες.
Το 1893 οργάνωσε την πρώτη Εργατική Πρωτομαγιά στην Ελλάδα και ύστερα από την ομιλία που εκφώνησε κατευθύνθηκε στη Βουλή όπου διάβασε ψήφισμα, το οποίο όμως ο Πρόεδρος της Βουλής αρνήθηκε να το δεχθεί. Αν και συνελήφθη για την πράξη του αυτή και καταδικάστηκε σε φυλάκιση, η εν λόγω ενέργειά του συνέβαλε ώστε την επόμενη χρονιά ο εορτασμός της Πρωτομαγιάς να είναι ενωτικός.
Όμως κατά την Πρωτομαγιά του 1894 έγιναν πολλές συλλήψεις (μεταξύ των συλληφθέντων ήταν και ο Καλλέργης) και ο εορτασμός της Εργατικής Πρωτομαγιάς απαγορεύτηκε στο εξής. Στη συνέχεια ο Καλλέργης, αφού δικάστηκε και αθωώθηκε, κατέφυγε στο Παρίσι, όπου γνωρίστηκε με τον Ζαν Ζωρές, τον Εμίλ Ζολά, τον Πιοτρ Κροπότκιν κ.ά., και από όπου επέστρεψε στην Αθήνα το 1895. Απογοητευμένος από την έντονη πολεμική που δέχτηκε από πρώην συνεργάτες του, έφυγε και πήγε στην Κρήτη όπου εξελέγη πληρεξούσιος της Κρητικής Πολιτείας και έθεσε υποψηφιότητα για βουλευτής Ρεθύμνου.
Στην Αθήνα ξαναγύρισε ύστερα από τρεις απόπειρες κατά της ζωής του και άρχισε να εκδίδει ξανά τον Σοσιαλιστή. Η νέα αυτή προσπάθειά του όμως απέτυχε όπως και μια εμπορική επιχείρησή του. Πέθανε το 1926 στην Κρήτη, όπου ζούσε από το 1905 και όπου είχε παντρευτεί και αποκτήσει οικογένεια, πάμπτωχος καθώς είχε ξοδέψει τη μεγάλη περιουσία που είχε κληρονομήσει από τον πατέρα του για τις ανάγκες του σοσιαλιστικού κινήματος. Γιος του ήταν ο γνωστός ηθοποιός Λυκούργος Καλλέργης.
Το 1892 έγινε η πρώτη πρωτομαγιάτικη συγκέντρωση στην Ελλάδα, από τον Σοσιαλιστικό Σύλλογο του Καλλέργη. Το 1893, 2000 διαδήλωσαν ζητώντας οχτάωρο, Κυριακή αργία και κρατική ασφάλιση στα θύματα εργατικών ατυχημάτων. Το 1894, γίνεται μια μεγάλη συγκέντρωση με τα ίδια αιτήματα που λήγει με 10 συλλήψεις και τον Αύγουστο ακολουθεί σύλληψη του σοσιαλιστή Σταύρου Καλλέργη.
Το 1936 έχουμε τους καπνεργάτες της Θεσσαλονίκης. Τα γεγονότα ξεκίνησαν γύρω στο Φεβρουάριο, με κατάληψη ενός εργοστασίου ύστερα από την απόρριψη των αιτημάτων των εργατών και συνεχίστηκε με συμπαράσταση καπνεργατών από άλλα εργοστάσια. Εναντίον τους χρησιμοποιήθηκε τόσο η αστυνομία όσο και ο στρατός.
Δεν υπήρχε κεντρική συγκέντρωση, αλλά μικρές συγκεντρώσεις με ομιλητές σε διάφορα μέρη της πόλης. Σε μια συγκέντρωση στη διασταύρωση Εγνατίας και Βενιζέλου, χωροφύλακες πυροβόλησαν και σκότωσαν 7-8 εργάτες. Σ' αυτό το σημείο έχει στηθεί το μνημείο του καπνεργάτη. Με πυροβολισμούς προσπάθησαν να διαλύσουν και τις άλλες συγκεντρώσεις και συνολικά είχαμε τουλάχιστον 12 νεκρούς και 300 τραυματίες.
Το 1944 ο κατοχικός στρατός των Γερμανών, εκτέλεσε 200 Έλληνες αγωνιστές στο σκοπευτήριο της Καισαριανής. Το Μάη του 1963, δολοφονήθηκε ο βουλευτής της ΕΔΑ Γρηγόρης Λαμπράκης. Δεν ήταν Πρωτομαγιά, αλλά 22 Μαΐου. Ο Γρηγόρης Λαμπράκης μιλούσε σε συγκέντρωση των «Φίλων της Ειρήνης» για την παγκόσμια ύφεση όταν δέχτηκε επίθεση από άγνωστους με ρόπαλα.
Έξω απ' την αίθουσα ο Λαμπράκης χτυπήθηκε από τρίκυκλο και τελικά εξέπνευσε στις 27 Μαΐου.Το 1976, πάλι 1η Μαΐου, είχαμε το θάνατο του Αλέκου Παναγούλη σε τροχαίο. Ο Αλέκος Παναγούλης έχει μείνει στην ιστορία σαν σύμβολο της αντίστασης κατά της χούντας για την απόπειρα δολοφονίας ενάντια στον δικτάτορα Γεώργιο Παπαδόπουλο, με τοποθέτηση εκρηκτικού μηχανισμού , τον Αύγουστο του 1968. Είχε συλληφθεί άμεσα και είχε τελειώσει την απολογία του με την εξής ιστορική φράση:
«Δεν υπάρχει, κύριοι στρατοδίκαι, ωραιότερο κύκνειο άσμα για κάθε αγωνιστή, από τον επιθανάτιο ρόγχο μπροστά στα πολυβόλα του εκτελεστικού αποσπάσματος της τυραννίας».
Η παγκόσμια κατακραυγή της δίκης απέτρεψε την εκτέλεση του Παναγούλη. Στη φυλακή βασανίστηκε μέχρι την απελευθέρωσή του. Η αμνηστία που έδωσε ο Παπαδόπουλος τον Αύγουστο του 1973 κάλυπτε και τον Αλέκο Παναγούλη. Η συγκυρία του θανάτου του Παναγούλη σε τροχαίο χαρακτηρίζεται από πολλούς ιδιαίτερα ύποπτη, επειδή μόλις λίγο καιρό πριν το θάνατό του, είχε φέρει στη δημοσιότητα στοιχεία από τα μυστικά αρχεία της ΕΣΑ.
