alex/tilbudgivern
1
0
Fork 0
Code Issues Pull Requests Actions 1 Packages Projects Releases Wiki Activity
Files
main
tilbudgivern/docs/archived/SCRAPER_OPTIMIZATION_RESULT.md
alexpolo1 4a372d2e28 clean up
2025-10-30 18:28:58 +00:00

2.5 KiB
Raw Permalink Blame History

🔍 Scraper Optimization Resultat

✅ Performance Forbedringer:

Før Optimization:

  • Load Strategy: wait_until='networkidle'
  • Timeouts: 60000ms (60 sekunder)
  • Wait Times: 2000-5000ms mellem steps
  • Gennemsnitstid: ~60+ sekunder per produkt
  • Problem: Timeout før completion

Efter Optimization:

  • Load Strategy: wait_until='load' (hurtigere)
  • Timeouts: 30000ms (30 sekunder)
  • Wait Times: 500-2000ms mellem steps
  • Gennemsnitstid: ~11 sekunder per produkt ⚡
  • Forbedring: ~82% hurtigere!

❌ Blocker Issue - Bygma Struktur Ændring

Root Cause:

Bygma har fundamentalt ændret hvordan produktsider loader. Links til dokumenter er IKKE tilgængelige via standard page load.

Observations:

  1. /link/ links findes IKKE på produktside efter normal page load
  2. wait_for_selector('a[href*="/link/"]') timeout efter 10 sekunder
  3. Manual browser test viser linkene ER der, men loader ekstremt sent eller via lazy loading
  4. Forskellige URL formater (/proff/byggemateriale/ vs /proff/tag/) giver forskellige resultater

Mulige Årsager:

  • Lazy Loading: Links loader først når man scroller ned
  • Dynamic Content: Links injectes via AJAX efter andet user interaction
  • Authentication Issue: Måske login ikke virker korrekt længere
  • Rate Limiting: Bygma detecter automation og blocker content

🚀 Næste Steps:

Kort Sigt (Quick Win):

  1. Manual Data Entry - Tilføj manuals for top 20 produkter manuelt
  2. Default Estimates - Use category-based time estimates (tag=8t, dør=4t, etc.)
  3. Fallback System - System fungerer uden manuals

Mellem Sigt (Alternative Sources):

  1. Producent Websites - Download direkte fra Velux.dk, Rockwool.dk, etc.
  2. PDF Database - Build lokal cache af manuals
  3. Community Sourced - Lad tomrere uploade manuals de har

Lang Sigt (Full Automation):

  1. Headful Browser - Kør browser med GUI (ikke headless) for at undgå detection
  2. Scroll Simulation - Simulate user scrolling for at trigge lazy loading
  3. Selenium Alternative - Try different automation framework
  4. Bygma API - Contact Bygma for official API access

📊 Konklusion:

Scraper er optimeret fra ~60s til ~11s (82% forbedring), men kan ikke finde manuals pga. Bygma website ændringer.

Anbefaling: Fokuser på fallback solutions og alternative data sources i stedet for at bruge mere tid på scraper troubleshooting.

Status: ⏸️ PAUSE SCRAPER WORK - Implement fallbacks first