有一个被称为“人类学日”的，十分有争议的活动
虽然奥运会的大部分注意力，都理所当然地应该集中在体育比赛上，但也有其他不那么令人愉快的活动，包括一个名为“人类学日”的活动。这是社会达尔文主义和其他相关的种族主义意识形态的黄金时代，强调种族的不平等，是一个生物学事实。在这种情况下，来自各种“未开化”国家的人，从世界博览会上的“人类动物园”中，被带到这里进行自己的比赛。
虽然这是为了证明这些国家人民的“天生”能力，但他们在官方活动中能接受到的训练，却很少，因此表现并不好。不出所料，一些美国和欧洲人将此作为另一个机会，在竞争对手的劣势中，沉浸于他们的种族主义信念中，而其他人——包括奥运会的创始人本人，则谴责这不过是一场种族主义的把戏。
这场奥运会持续了近5个月
现代奥运会在很大程度上，也是一场媒体奇观，占据着得天独厚的位置。然而，它们通常也都是非常简短的赛事。然而，1904年的情况并非如此，因为这届奥运会，令人惊讶地历时146天。
奥组委将所有的体育比赛，都称为“奥林匹克”项目，这使人们难以确定，到底哪些应该是正式的比赛，哪些又不是。根据委员会的官方规定，本届奥运会将从7月1日持续到11月23日。在94个项目中，田径项目在闷热的8月和9月举行。
女性在“娱乐回合”中参与拳击比赛，并只被允许正式参加一项比赛
在1904年的奥运会上，女性只能正式参加一个项目的比赛，那就是射箭，而这场奥运会，总共有6名女性选手（其中5名来自同一个俄亥俄州代表队）。女子也会参加拳击比赛，但这被认为是一种“展示性”项目，因此也拿不到奖牌。
具有讽刺意味的是，这将是2012年伦敦奥运会之前，女性最后一次登上奥运拳台。
这是唯一一届，包含跳远式跳水项目的奥运会，且与深度无关
尽管一些奥运项目得以延续，但也有一些项目因种种原因，而被抛弃。在奥林匹克历史的编年史上，很少有比赛像跳远式跳水项目这样奇怪，或如此乏味。
与它的名字意思差不多，这个项目就是运动员尽可以远地跳入水中，然后漂浮，利用他们最初获得的动能，推动自己在水面上移动。意料之中的是，它的参赛选手人数不多（只有5人，而且都来自美国）。所以，1904年是第一届，也是唯一一届尝试跳远式跳水的奥运会。
只有12个国家参与
对于现代奥运会的观众来说，观看开幕式的一大乐趣，就是“大游行”活动，在这个过程中，众多参赛国会自豪地展示他们的运动员、国旗和其装备。而且奥运会通常会有很多个国家参与，因此这通常是很重大的活动。
但1904年奥运会的情况，并非如此，当时只有12个国家参加。出席人数少，在很大程度上是因为欧洲国家不愿意花费去圣路易斯的旅费。由于出席人数有限，并弥补人数上的不足，美国只能自己派出大部分的运动员，并赢得了大部分的奖牌。
美国获得了261枚奖牌中的239枚
从现代奥运会开始，美国就一直竞争激烈，经常努力（并成功）赢得尽可能多的奖牌。1904年的圣路易斯尤其如此。由于当时许多欧洲国家对这一届奥运会敬而远之，所以美国人能够在一定程度上占据主导地位，也就不足为奇了。
在授予的261枚奖牌中，美国就获得了其中的239枚。更重要的是，该国还获得了四分之三的金牌。然而，也有人批评美国派出当时严格意义上，并不是美国公民的运动员参赛。
