Spadseretur gennem Bagamoyos smalle, asfalterede gader tager dig tilbage til midten af det 19. århundrede, da byen var en af de vigtigste bosættelser langs den østafrikanske kyst og terminalen på handelsvognruten, der forbinder Tanganjikasøen med havet. Slaver, elfenben, salt og copra blev losset her, før de blev sendt til Zanzibar Island og andre steder, og mange europæiske opdagelsesrejsende, herunder Richard Burton, Henry Morton Stanley og David Livingstone, begyndte og afslutte deres ture her. I 1868 etablerede franske missionærer Freedom Village i Bagamoyo som et hus for løsrivne slaver, og i resten af århundredet tjente byen som en vejstation for missionærer, der rejser fra Zanzibar Island til indre.