feat: complete N8N scrapers for 6 sources and seed script
- Create comprehensive N8N workflow for all 6 parapharmacy sources - Create webhook-triggered manual scraping workflow - Add seed script with 20 sample products - Update n8n/README.md with complete documentation - Update docs/parapharmacy.md with seeding instructions - Add seed script to package.json Sources configured: - Promofarma - Pharmarket - DocMorris - 1001Farma - Primor - MiFarma
This commit is contained in:
Antoni Nuñez Romeu
+116
-41
@@ -1,89 +1,164 @@
|
||||
# N8N Workflows for FarmaFinder Parapharmacy
|
||||
|
||||
## Workflows Disponibles
|
||||
|
||||
| Workflow | Trigger | Estado | Descripción |
|
||||
|----------|---------|--------|-------------|
|
||||
| Parapharmacy Scraper - All Sources | Cada 3 días a las 2am | Inactivo | Scraping automático de las 6 tiendas |
|
||||
| Parapharmacy Manual Scraper | POST `/webhook/scrape-all` | Activo | Scraping manual bajo demanda |
|
||||
|
||||
## Configuración Inicial
|
||||
|
||||
Al iniciar N8N por primera vez, se creará automáticamente una cuenta de administrador:
|
||||
### 1. Cuenta de Administrador
|
||||
|
||||
- **Email**: admin@farmafinder.com (configurable en `.env`)
|
||||
- **Password**: change-me (configurable en `.env`)
|
||||
Al iniciar N8N por primera vez, se crea automáticamente:
|
||||
|
||||
### Variables de Entorno
|
||||
| Campo | Valor |
|
||||
|-------|-------|
|
||||
| **Email** | admin@farmafinder.com |
|
||||
| **Password** | change-me |
|
||||
|
||||
> **IMPORTANTE**: Cambia la contraseña después del primer login en http://localhost:5678/settings
|
||||
|
||||
### 2. Variables de Entorno
|
||||
|
||||
```bash
|
||||
# En el archivo .env de la raíz del proyecto
|
||||
# En .env
|
||||
N8N_USER=admin
|
||||
N8N_PASSWORD=change-me
|
||||
N8N_EMAIL=admin@farmafinder.com
|
||||
```
|
||||
|
||||
## Workflows Incluidos
|
||||
### 3. Importar Workflows
|
||||
|
||||
### 1. Parapharmacy Scraper (Automático)
|
||||
Los workflows se importan automáticamente al iniciar el contenedor. Para importar manualmente:
|
||||
|
||||
- **Trigger**: Cada 3 días a las 2:00 AM
|
||||
- **Función**: Scraping automático de Promofarma
|
||||
- **Estado**: Inactivo por defecto (activar después de configurar)
|
||||
1. Ir a http://localhost:5678/workflows
|
||||
2. Hacer clic en "Import from File"
|
||||
3. Seleccionar el archivo JSON de `n8n/workflows/`
|
||||
|
||||
### 2. Parapharmacy Manual Scraper (Webhook)
|
||||
## Fuentes de Scraping
|
||||
|
||||
- **Trigger**: POST a `/webhook/scrape-parapharmacy`
|
||||
- **Función**: Scraping bajo demanda
|
||||
- **Estado**: Activo por defecto
|
||||
| Fuente | URL Base | Estado |
|
||||
|--------|----------|--------|
|
||||
| Promofarma | promofarma.com | ✅ Configurado |
|
||||
| Pharmarket | pharmarket.es | ✅ Configurado |
|
||||
| DocMorris | docmorris.es | ✅ Configurado |
|
||||
| 1001Farma | 1001farma.net | ✅ Configurado |
|
||||
| Primor | primor.eu | ✅ Configurado |
|
||||
| MiFarma | mifarma.es | ✅ Configurado |
|
||||
|
||||
## Uso del Webhook Manual
|
||||
## Uso
|
||||
|
||||
### Scraping Automático
|
||||
|
||||
El workflow "Parapharmacy Scraper - All Sources" se ejecuta automáticamente cada 3 días.
|
||||
|
||||
**Para activarlo:**
|
||||
1. Ir a http://localhost:5678/workflows
|
||||
2. Abrir "Parapharmacy Scraper - All Sources"
|
||||
3. Activar el toggle "Active"
|
||||
|
||||
### Scraping Manual
|
||||
|
||||
```bash
|
||||
# Ejecutar scraping con queries por defecto
|
||||
curl -X POST http://localhost:5678/webhook/scrape-parapharmacy
|
||||
# Scraping con queries por defecto (todas las tiendas)
|
||||
curl -X POST http://localhost:5678/webhook/scrape-all
|
||||
|
||||
# Ejecutar scraping con queries específicas
|
||||
curl -X POST http://localhost:5678/webhook/scrape-parapharmacy \
|
||||
# Scraping con queries específicas
|
||||
curl -X POST http://localhost:5678/webhook/scrape-all \
|
||||
-H "Content-Type: application/json" \
|
||||
-d '{"queries": ["crema hidratante", "protector solar"]}'
|
||||
|
||||
# Scraping solo de fuentes específicas
|
||||
curl -X POST http://localhost:5678/webhook/scrape-all \
|
||||
-H "Content-Type: application/json" \
|
||||
-d '{"sources": ["promofarma", "pharmarket"]}'
|
||||
```
|
||||
|
||||
## Endpoints de la API de Parafarmacia
|
||||
### Respuesta del Webhook
|
||||
|
||||
Los workflows envían los productos scrapeados a:
|
||||
```json
|
||||
{
|
||||
"success": true,
|
||||
"message": "Scraping completed",
|
||||
"products": 15
|
||||
}
|
||||
```
|
||||
|
||||
## Endpoints de la API
|
||||
|
||||
Los workflows envían productos a:
|
||||
|
||||
```
|
||||
POST http://parapharmacy-api:3002/api/products/bulk
|
||||
```
|
||||
|
||||
## Poblar Base de Datos
|
||||
|
||||
### Datos de Prueba
|
||||
|
||||
```bash
|
||||
# Ejecutar seed script
|
||||
cd apps/parapharmacy-api
|
||||
npm run seed
|
||||
```
|
||||
|
||||
Esto inserta 20 productos de prueba en la base de datos.
|
||||
|
||||
### Scraping Real
|
||||
|
||||
```bash
|
||||
# Ejecutar scraping manual
|
||||
curl -X POST http://localhost:5678/webhook/scrape-all
|
||||
```
|
||||
|
||||
## Monitoreo
|
||||
|
||||
- **N8N Dashboard**: http://localhost:5678
|
||||
- **Dashboard N8N**: http://localhost:5678
|
||||
- **Historial de ejecuciones**: http://localhost:5678/executions
|
||||
- **Workflows**: http://localhost:5678/workflows
|
||||
- **Logs**: `docker logs n8n`
|
||||
|
||||
## Adding More Sources
|
||||
|
||||
Para añadir nuevas fuentes de scraping:
|
||||
|
||||
1. Crear un nuevo nodo HTTP Request en el workflow
|
||||
2. Añadir un nodo Code para extraer los productos
|
||||
3. Conectar al nodo "Send to Parapharmacy API"
|
||||
4. Activar el workflow
|
||||
|
||||
## Troubleshooting
|
||||
|
||||
### N8N muestra /setup
|
||||
|
||||
Si N8N muestra la página de configuración, verifica que las variables de entorno estén configuradas:
|
||||
|
||||
```bash
|
||||
N8N_OWNER_EMAIL=admin@farmafinder.com
|
||||
N8N_OWNER_PASSWORD=change-me
|
||||
# Verificar variables de entorno
|
||||
docker-compose exec n8n env | grep N8N
|
||||
```
|
||||
|
||||
### Webhook no funciona
|
||||
|
||||
1. Verifica que el workflow esté activo
|
||||
2. Revisa el historial de ejecuciones en N8N
|
||||
3. Verifica los logs: `docker logs n8n`
|
||||
1. Verificar que el workflow esté activo
|
||||
2. Revisar historial de ejecuciones
|
||||
3. Verificar logs: `docker logs n8n`
|
||||
|
||||
### Scraping falla
|
||||
|
||||
1. Verificar que parapharmacy-api esté corriendo
|
||||
2. Verificar conexión a MongoDB
|
||||
3. Revisar logs de ejecución en N8N
|
||||
4. Probar con una sola fuente: `{"sources": ["promofarma"]}`
|
||||
|
||||
### Productos no se guardan
|
||||
|
||||
1. Verifica que parapharmacy-api esté ejecutándose
|
||||
2. Revisa los logs de la API: `docker logs parapharmacy-api`
|
||||
3. Verifica que MongoDB esté conectado
|
||||
```bash
|
||||
# Verificar health check
|
||||
curl http://localhost:3002/api/health
|
||||
|
||||
# Verificar MongoDB
|
||||
docker-compose exec mongodb mongosh --eval "db.adminCommand('ping')"
|
||||
```
|
||||
|
||||
## Adding New Sources
|
||||
|
||||
Para añadir una nueva fuente:
|
||||
|
||||
1. Crear un nuevo nodo en el workflow
|
||||
2. Configurar la URL de la fuente
|
||||
3. Añadir selectores CSS para extraer productos
|
||||
4. Conectar al nodo "Send to API"
|
||||
5. Probar con webhook manual
|
||||
6. Activar el workflow
|
||||
|
||||
Reference in New Issue
Block a user