SecondhandRadar

Oma insinööriprojekti ja yksi teknisesti vaativimmista rakentamistani jutuista: itse hostattu pipeline, joka seuraa Vintedin ja Tori.fi:n live-listaussyötteitä, tunnistaa tilastollisesti alihintaiset kohteet ja nostaa parhaat flipit, ja parhaat niput, live-dashboardille sekunneissa listauksen ilmestymisestä. Se pyörii 24/7 valvomatta yhdestä koti-IP:stä ilman proxyja.

Se juttelee jokaisen markkinapaikan kanssa aidon Chrome-session kautta Chrome DevTools Protocolilla, joten jokainen pyyntö kantaa oikean selaimen fingerprintin ja session tilan, ei hauras scrape. High-water-mark-poller hakee vain uusimmat sivut kunnes ne menevät päällekkäin jo nähtyjen kohteiden kanssa, joten se ei koskaan missaa listausta pollausten välissä eikä ylihae. Pollaustahti skaalautuu itsestään, nopeaksi listauspiikkien aikana, hitaaksi hiljaisina tunteina, ja pysyvä exponential-backoff-katkaisija sekä proaktiivinen session uusinta antavat sen toipua itsestään rate-limitistä ja pyöriä ilman minua.

Ytimenä on itsekalibroituva tilastollinen hinnoittelumalli, jatkuvasti päivittyvät empiiriset hintajakaumat, ei koulutettu koneoppimismalli. Jokainen kohde pisteytetään sen vertailuryhmän mediaanipyyntihintaa vasten, ratkaistuna fallback-hierarkian kautta (malli → tyyppi + koko → tyyppi → brändi) ja syötettynä hintanäytepoolilla, joka uudelleenestimoituu markkinan liikkuessa, robustilla outlier-käsittelyllä. Malli- ja kokotokenit parsitaan sotkuisista, monikielisistä listausotsikoista (FI/EN/PL/SV/DA), niin että arvokas siluetti hinnoitellaan omaa markkinaansa vasten eikä sekoitettua keskiarvoa.

Kun vahva löytö osuu kohdalle, kone käy läpi kyseisen myyjän koko kaapin ja ratkaisee kannattavimman monen kohteen nipun, huomioiden jaetun postin ja myyjän porrastetun nippualennuksen, kombinatorisen arvon jota yhden kohteen näkymä ei yksinkertaisesti näe.

Koko homma on kestävä jo suunnittelultaan: SQLite WAL-tilassa rinnakkaisille kirjoittajille, atomiset dashboard-kirjoitukset ja selain-watchdog auto-uudelleenkäynnistyksellä ja vanhentumishälytyksillä macOS launchd:n alla. Dashboard itsessään on framework-vapaa ja palvelinrenderöity, uudet löydöt striimautuvat sisään inkrementaalisilla DOM-päivityksillä, mukana vaalea/tumma-teema, selain- ja Web Audio -hälytykset sekä erillinen kate/ROI-seuranta. Vaikein osa oli aito jännite kattavuuden ja huomaamattomuuden välillä, pyyntöjen tahdittaminen niin että lähes jokainen uusi listaus jää haaviin ilman että IP koskaan throttlataan, ja hintamallin saaminen tarpeeksi tarkaksi, että sen varaan uskaltaa laittaa oikeaa rahaa, sotkuisesta, ihmisen syöttämästä datasta.