tilbudgivern/docs/archived/MANUAL_SCRAPER_DEBUG_LOGGING.md

Debug Logging til Montagevejledning Scraper

🔧 Ændringer Implementeret

Frontend (MaterialsList.js)

Tilføjet omfattende console logging i scrapeManual() funktionen:

✅ Logger request URL og varenr før fetch
✅ Logger response status og headers
✅ Tjekker Content-Type før JSON parsing
✅ Viser detaljeret fejlinformation hvis response ikke er JSON
✅ Logger både success og error responses
✅ Viser fejlbeskeder i UI logs

Backend (backend/src/routes/pricing.js)

Tilføjet omfattende console logging i /scrape-manual endpoint:

✅ Logger incoming request body
✅ Validerer Python script eksisterer
✅ Validerer OPENAI_API_KEY er sat
✅ Logger Python process start
✅ Logger STDOUT i real-time
✅ Logger STDERR i real-time
✅ Logger exit code og output length
✅ Håndterer spawn errors eksplicit
✅ Returnerer detaljeret fejlinformation

🐛 Hvordan man Debugger

1. Åbn Browser Console

• Tryk F12 eller højreklik → "Inspect Element"
• Gå til "Console" tab

2. Prøv at Hente Montagevejledning

• Indtast varenr (f.eks. 083846)
• Klik "Hent Montagevejledning fra Bygma"

3. Tjek Console Logs

Du vil nu se:

🌐 Sender request til: http://localhost:3010/api/pricing/scrape-manual
📦 Med varenr: 083846
📡 Response status: 500
📡 Response headers: {...}

4. Tjek Backend Logs

pm2 logs tilbudgivern-unified --lines 100

Du vil se:

📥 Received scrape-manual request: { varenr: '083846' }
📚 Scraping installation manual for VareNr: 083846
🐍 Python script path: /path/to/scrape_manual_by_varenr.py
🚀 Spawning Python process...
📤 STDOUT: ...
📤 STDERR: ...
🏁 Python process closed with code: 0

🔍 Mulige Fejl og Løsninger

"Response er ikke JSON"

Problem: Backend sender HTML eller andet format Løsning: Tjek backend logs - sandsynligvis server crash

"Python script ikke fundet"

Problem: scrape_manual_by_varenr.py findes ikke Løsning:

ls -la /mnt/HC_Volume_103713257/tilbudgivern/scrape_manual_by_varenr.py

"OPENAI_API_KEY ikke konfigureret"

Problem: Environment variable ikke sat Løsning:

# Tjek i .env filen
cat .env | grep OPENAI_API_KEY

# Genstart med environment
pm2 restart all --update-env

"Kunne ikke starte Python proces"

Problem: Python3 ikke installeret eller ikke i PATH Løsning:

which python3
python3 --version

Exit code != 0

Problem: Python scriptet crashede Løsning: Tjek STDERR output i backend logs

📝 Test Scenario

# Terminal 1: Se backend logs live
pm2 logs tilbudgivern-unified

# Terminal 2: Test med curl
curl -X POST http://localhost:3010/api/pricing/scrape-manual \
  -H "Content-Type: application/json" \
  -d '{"varenr":"083846"}'

✅ Hvad Skal Man Se

Success Response:

{
  "success": true,
  "varenr": "083846",
  "output": "🔍 Søger efter produkt 083846...\n✅ SUCCESS!...",
  "message": "Montagevejledning hentet og gemt"
}

Error Response:

{
  "success": false,
  "error": "Beskrivelse af fejl",
  "exitCode": 1,
  "output": "...",
  "errorOutput": "..."
}

🎯 Næste Skridt

1. Åbn browser console (F12)
2. Prøv at hente montagevejledning for varenr 083846
3. Se hvad der logges i console
4. Del logs hvis der stadig er fejl