Józef Piłsudski urodził się w Zułowie (powiat święciański – Litwa). Wychowywał się razem z licznym rodzeństwem, dwaj jego bracia również stali się całkiem znani (choć oczywiście nie tak jak Józef). Starszy o rok od Józefa, Bronisław Piłsudski (1866 – 1918) był etnografem, szczególnie interesował się ludami i kulturami Dalekiego Wschodu. Natomiast Jan Piłsudski był etnologiem, swego czasu zajmował się też polityką. W 1877 roku dziesięcioletni wówczas Józef zaczął uczyć się w gimnazjum rosyjskim w Wilnie (dokąd musiał się przeprowadzić na skutek nieudanych inwestycji ojca i pożaru dworu). Warto wspomnieć o rodzicach „Ziuka”, gdyż to właśnie z domu wyniósł on patriotyczne wartości. Ojciec (również Józef) był komisarzem Rządu Narodowego podczas powstania styczniowego. Matka, Maria z Billewiczów pochodząca ze słynnego litewskiego rodu odznaczającego się herbem „Mogiła” od najmłodszych lat wpajała Józefowi tradycyjne wartości, co było bardzo istotne zważając na silną rusyfikację prowadzoną w gimnazjach.

W 1885 roku zdał maturę, a następnie zaczął studiować medycynę w Charkowie. Dwa lata później Piłsudski został omyłkowo aresztowany za rzekomy udział w spisku mającym na celu zabójstwo cara. Zesłano go na pięć lat na Syberię (jego brata Bronisława na 15). Na Syberii najpierw znajdował się w Irkucku, następnie w Kireńsku, by w końcu dotrzeć do wsi Tunka. Na zesłaniu spotkał wielu powstańców z 1863 r., tam również zaczął zaznajamiać się z literaturą poświęconą socjalizmowi.

W lipcu 1892 powrócił do Wilna, i już wkrótce zaczął współpracować z lokalnymi działaczami socjalistycznymi. Po utworzeniu w 1892 r. Polskiej Partii Socjalistycznej został członkiem Sekcji Litewskiej PPS. Zaczął pisać do socjalistycznego czasopisma „Przedświt”, wydawanego przez Stanisława Mendelsona (1857-1913, ps. Aleksander) w Londynie. Na wileńskim zjeździe PPS, nie zgodził się na uznanie, że przywrócenie niepodległości Polski jest celem drugorzędnym (tzn. mniej ważnym od interesu klasowego).

Na początku 1894 r. zaczął pełnić najważniejsze funkcje w PPS, m.in. wydawał gazetę „Robotnik” pod pseudonimem „Wiktor”, rozpoczął też niezwykle niebezpieczne życie konspiratora, za którym carskie władze raz po raz wysyłają listy gończe. Piłsudski wiele z tego sobie jednak nie robił, gdyż w grudniu 1894 r. wyjechał na zjazd socjalistów do Genewy, oczywiście ze sfałszowanym paszportem. Ciągle bronił też stanowiska PPS odnośnie konieczności odzyskania niepodległości, i stawiania tego celu ponad wszystkimi innymi (w odróżnieniu od na przykład SDKPiL). Wówczas zaczęły ujawniać się w nim olbrzymie zdolności przywódcze, był bardzo aktywny: ciągle pracował nad „Robotnikiem”, w międzyczasie bywał w Londynie (m.in. na kongresie II Międzynarodówki). Nie zaniedbywał też swojego życia prywatnego: w 1899 poślubił Marię Juszkiewiczową. Wkrótce po ślubie małżonkowie przenieśli się do Łodzi, gdzie dalej żyli i pracowali w konspiracji. Niestety na początku 1900 r. zostali zdekonspirowani i wtrąceni do cel słynnego X Pawilonu Cytadeli. Piłsudski jednak znajduje wyjście i z tej sytuacji: z powodzeniem udaje, że cierpi na chorobę psychiczną i zostaje przeniesiony do szpitala – więzienia w Petersburgu. Jego żona wydostaje się z aresztu za kaucją. Współtowarzysze pomogli Piłsudskiemu zbiec. W 1901 „Mieczysław” (kolejny jego pseudonim) zamieszkuje na terenach autonomii galicyjskiej, najpierw we Lwowie a potem w Krakowie.

W 1904 roku, kiedy wybucha wojna rosyjsko – japońska, Piłsudski był zdecydowanym zwolennikiem wykorzystania dla celów narodowych osłabionej Rosji toczącej wyczerpujący, i w konsekwencji przegrany konflikt z państwem niezaliczającym się jeszcze wówczas do światowych potęg. Udało mu się wyjechać do Japonii. Tam prowadził rozmowy, które miały na celu utworzenie polskiej jednostki przy wojsku japońskim. W Tokio spotkał się przypadkowo z Romanem Dmowskim, który jednak przebywał tam w przeciwnym celu niż Piłsudski. Z rozmów prowadzonych na Dalekim Wschodzie jednak nic nie wyszło. Wybuch rewolucji w Rosji w roku 1905 przyczynia się do stworzenia w PPS pewnego podziału na tzw. „starych”, którzy opowiadali się za walką z Rosją, by jak najszybciej odzyskać niepodległość oraz na „młodych”, zwolenników przeprowadzenia akcji jedynie we współpracy z rewolucjonistami z Rosji, bez dążenia za wszelką cenę do niepodległości.

W celu walki o niepodległość „starzy” powołali wówczas Organizację Bojową, którą w 1905 przejął Piłsudski. Sytuacja OB była jednak bardzo zła, znajdowała się ona praktycznie na skraju upadku, po dekonspiracji wielu jej działaczy.

Talent organizacyjny Piłsudskiego ponownie okazał się wręcz wyjątkowy – w ciągu niespełna roku Organizacja Bojowa miała około 2000 odpowiednio przeszkolonych członków. Jedynym mankamentem było słabe zaopatrzenie, brakowało przede wszystkim broni i amunicji. Mimo to, OB udało się zorganizować największą, od czasów powstania styczniowego, akcję wymierzoną w zaborcę. Podczas tzw. „krwawej środy” (15 sierpnia 1906) dokonano kilkudziesięciu zamachów na Rosjan, mordowano przede wszystkim policjantów i żandarmów.

Wewnętrzne podziały w PPS okazały się być na tyle duże, że na IX Zjeździe PPS (1906) zadecydowano o rozłamie. Piłsudski stanął na czele PPS – Frakcji Rewolucyjnej, w skład której wchodzili zwolennicy Mieczysława.

Pomimo zaangażowania się w działalność polityczną, Piłsudski ciągle pozostawał gorącym zwolennikiem przeprowadzania różnorakich akcji zbrojnych przeciw zaborcy. 26 września 1908 osobiście dowodził akcją pod Bezdanami (niedaleko Wilna), dzięki której zdobył dużą liczbę pieniędzy, niezbędnych do prowadzenie dalszych działań. W tym czasie Piłsudski bardzo intensywnie się kształcił, po pewnym czasie doskonale orientował się w historii m.in.

powstania styczniowego i wojen napoleońskich.

W 1908 roku z jego inicjatywy został założony Związek Walki Czynnej, tajna organizacja mająca na celu przygotowanie kadry dowódczej do przyszłego powstania, mającego wybuchnąć w zaborze rosyjskim. Szefem Sztabu został Kazimierz Sosnkowski, który bardzo szybko urósł do jednego z najbliższych współpracowników Mieczysława. Przed I wojną światową powstało jeszcze wiele organizacji wojskowych i paramilitarnych związanych z ZWC, m.in. Związek Strzelecki (1910 – Lwów), Towarzystwo „Strzelec” (Kraków) czy Drużyny Strzeleckie (1911). W 1912 Piłsudski zostaje komendantem Związku Strzeleckiego (funkcja przez niego pełniona wiąże się z tym, jak był nazywany jeszcze długo po wojnie), a Sosnkowski jego szefem sztabu. Pod koniec 1912 utworzono Komisję Tymczasowych Skonfederowanych Stronnictw Niepodległościowych, która mianowała Piłsudskiego Komendantem Głównym wszystkich polskich sił zbrojnych (Sosnkowski został zaś szefem sztabu, a jakże :)). Kilka miesięcy przed rozpoczęciem wojny wyjeżdżał do Francji, Szwajcarii i Belgi, gdzie dokonywał przeglądu znajdujących się tam jednostek strzeleckich. W Paryżu, w siedzibie Towarzystwa Geograficznego wygłosił wykład dotyczący zbliżającego się konfliktu, w którym zawarł swoje przewidywania odnośnie m.in. szans na odzyskanie niepodległości.