retro.dog – AI-támogatott piacfigyelő retro számítástechnikai hirdetésekhez

A retro.dog egy független nyilvános projekt: AI-asszisztált piaci radar retro számítástechnikai hirdetésekhez.

Piactéri hirdetéseket figyel, kiszűri a nyilvánvaló zajt, rendezi és kiegészíti a következetlen termékadatokat, majd a nyers hirdetésekből gyűjtők számára átnézhető jelzéseket készít.

Az első nyilvános alphateszt során a rendszer körülbelül 15 000 retro számítástechnikai hirdetést gyűjtött be és dolgozott fel.

A piactéri adatok alapból rendezetlenek.

A címek következetlenek, a kategóriák tele vannak zajjal, a leírások hiányosak vagy többnyelvűek lehetnek, a képek pedig nem mindig mutatják meg a fontos részleteket. A scraping hibázhat, nagyobb mennyiségnél pedig gyorsan nőnek a proxy- és sávszélességköltségek.

Az AI a munka bizonyos részeiben segít, de érdekesebb, kevésbé egyértelmű tételeket is kihagyhat, gyenge találatokat is magabiztosan értékelhet, és önmagában nem tudja megbízhatóan eldönteni, mi lesz érdekes a gyűjtőknek.

Ezért a pipeline nem bízhatja egyszerűen egy modellre a legjobb hirdetések kiválasztását. Többlépcsős szűrésre, költségkorlátokra, ellenőrzési pontokra és emberi ítélőképességre is szükség van.

Olyan pipeline-t építettem, amely begyűjti a hirdetéseket, kinyeri a termékadatokat, kiszűri a nyilvánvaló zajt, normalizálja a következetlen szöveget, AI-támogatott értékeléseket futtat, összefoglalókat készít, majd a kiválasztott tételeket nyilvános felületen mutatja be.

Ahol lehet, az olcsóbb szűrési lépések megelőzik a drágább feldolgozást. Kisebb modelleket használok azokhoz a feladatokhoz, amelyekben már elég jó eredményt adnak.

A modell kimenete és a publikálás között mindig megmarad az emberi ellenőrzés.

Ez gyakorlati AI-munka valódi korlátok között: zajos adatokkal, scraping hibákkal, modellkorlátokkal, költségekkel, ellenőrzéssel és nyilvános eredményekkel.

A cél nem az, hogy mindenről az AI döntsön. Olyan munkafolyamatot kell építeni, amelyben az AI hasznos struktúrát ad, de a végső eredményért továbbra is emberi ítélőképesség felel.

Laravel, Livewire, Puppeteer, MariaDB, scraping, piactéri adatok, LLM pipeline, szűrés, normalizálás, emberi ellenőrzés, költségtudatos AI-munkafolyamat.