Κατά τη διάρκεια της συζήτησης των Ολυμπιακών Αγώνων ΙΙΙ, η Διεθνής Ολυμπιακή Επιτροπή αποφάσισε να την οργανώσει στις Ηνωμένες Πολιτείες, καθώς η χώρα αυτή παρουσίασε καλά αποτελέσματα στα προηγούμενα δύο παιχνίδια. Αρχικά, ήθελαν να κρατήσουν τους Ολυμπιακούς Αγώνες στο Σικάγο ή τη Νέα Υόρκη, αλλά ως αποτέλεσμα, η επιλογή έπεσε στο μικρό λιμάνι του Σαιντ Λούις.
Οι Ολυμπιακοί Αγώνες ΙΙ στο Σαιντ Λούις, μαζί με το Παρίσι, πραγματοποιήθηκε στο πλαίσιο της Παγκόσμιας Έκθεσης. Ωστόσο, η τοπική διοίκηση της Έκθεσης δεν το θεωρούσε ανταγωνιστή, αλλά αντίθετα έκανε ό, τι μπορούσε για να χρησιμοποιήσει τα παιχνίδια για δικούς της διαφημιστικούς σκοπούς. Επιπλέον, οι διοργανωτές επαναλαμβάνουν μερικά από τα λάθη των θερινών Ολυμπιακών Αγώνων του 1900 στο Παρίσι. Λόγω της προσκόλλησης στην Παγκόσμια Έκθεση, οι διαγωνισμοί υποβιβάστηκαν στο παρασκήνιο και οι ίδιοι οι Ολυμπιακοί Αγώνες απλώθηκαν για σχεδόν 5 μήνες (1 Ιουλίου - 23 Νοεμβρίου 1904). Πολλοί διαγωνισμοί διεξήχθησαν υπό την καθοδήγηση διαφόρων επαγγελματικών οργανώσεων, παρόλα αυτά, όλοι έλαβαν τον τίτλο των Ολυμπιακών κλάδων.
Σύμφωνα με τη ΔΟΕ, 12 χώρες συμμετείχαν στους καλοκαιρινούς αγώνες στο St. Louis. Το μόνο κράτος που συμμετείχε για πρώτη φορά στον διαγωνισμό ήταν η Νότια Αφρική. Σε σύγκριση με τους Ολυμπιακούς του Παρισιού, ο αριθμός των συμμετεχουσών χωρών μειώθηκε απότομα. Τα 13 κράτη που συμμετείχαν στους θερινούς αγώνες του Παρισιού δεν μπόρεσαν να έρθουν στο Σαιντ Λούις για οικονομικούς λόγους. Η Ρωσία, η οποία αγωνίστηκε με την Ιαπωνία εκείνη τη στιγμή, δεν συμμετείχε στους διαγωνισμούς.
Συνολικά, στους θερινούς Ολυμπιακούς Αγώνες ΙΙΙ πραγματοποιήθηκαν 651 άτομα, συμπεριλαμβανομένων 6 γυναικών. Αγωνίστηκαν για 94 σύνολα βραβείων σε 18 αθλήματα. Η μεγαλύτερη ομάδα ήταν οι Ηνωμένες Πολιτείες της Αμερικής · αντιπροσώπευαν 533 άτομα στα παιχνίδια. Σε πολλά αθλήματα (πυγμαχία, πάλη, υδατοσφαίριση, τοξοβολία και τένις), μόνο οι Αμερικανοί αθλητές εκτελούσαν, οπότε τα παιχνίδια κατέδειξαν σαφώς την υπεροχή της χώρας.
Στο St. Louis για πρώτη φορά άρχισε να ανταμείβει τρεις, όχι δύο αθλητές που έδειξαν το καλύτερο αποτέλεσμα. Ο κύριος νικητής του διαγωνισμού βραβεύτηκε με χρυσό μετάλλιο. αθλητής δεύτερης θέσης - ασημένιο. και η τρίτη θέση χαρακτηρίστηκε από χάλκινο βραβείο. Αυτή η παράδοση έχει επιζήσει μέχρι σήμερα.
Στην κατάταξη των ανεπίσημων ομάδων, οι συμμετέχουσες χώρες βρίσκονται ως εξής: I place - ΗΠΑ (78 χρυσά, 82 ασημένια, 78 χάλκινα), II θέση - Γερμανία (4 χρυσά, 4 ασήμι, 5 χάλκινα), 2 ασημένια, 3 χάλκινα μετάλλια).
