Jak piszesz wcześniej - używasz czułego tunera do zbierania sygnału. Zatem "gdzieś" - konkretnie w jakimś przetworniku (np mikrofon) nastepuje zamiana drgań mechanicznych na elektryczne, te elektryczne trzeba zamienić na cyfrowe -> przetwornik a/d i dalej obrabiać komputerowo. Do tego trzeba albo napisać kawałek własnego programu, albo użyć gotowce - typu MathLab, Mathamatica, czy inne mające wbudowane FFT (Fast Fourier Transform) do analiz przebiegów funkcji.

Odfiltrowaniem czy raczej kalibracja układu - to po prostu operacja odejmowania sygnału: trzeba zebrać sygnał "pusty", generowany tylko przez część napędową - silniki, przekładnie, prowadnice, itp - zapamiętac ten sygnał i następnie w trakcie pracy właściwej - odejmować go on-line od sygnału strojonego. Miejsca do szukania takich informacji - ogólnie: akustyka, teoria funkcji, no i technika wojskowa.
Sposób aktywny - to dodanie drgań w przeciwfazie o tej samej amplitudzie co drgania "zakłucające" - wtedy zakłucenia same się "odfiltrują".

Akurat w tym przypaku Kolega ma do pogodzenia ogień z wodą.
I niestety zostaje metoda prób i błędów - trzeba po prostu próbować różne materiały i coś finalnie wybrać.
Ten ogień i woda wynika z dwóch sprzecznych wymagań: sztywności konstrukcji (brak ugięć, trzymanie wymiarówt, itp) - czyli stal spełnia wymagania oraz tłumienie drgań - czyli plastelina spełnia wymagania. Niestety materiału o sztywności stali i tłumienności plasteliny - nie ma - i trzeba coś pośrodku tego wybrać.
Lub wspomagać się inteligentną elektroniką, która odfiltruje drgania własne maszyny, ewentualnie je wygasi - emitując drgania odwrócone w fazie.