IndexMyUrls - Plateforme d'Indexation d'URLs pour Moteurs de Recherche
Vue d'ensemble du projet
IndexMyUrls est une plateforme web SaaS développée en Django qui permet aux propriétaires de sites web d'accélérer l'indexation de leurs pages dans les moteurs de recherche. Le service utilise les APIs officielles de Google et le protocole IndexNow pour soumettre directement les URLs aux moteurs de recherche, réduisant ainsi le temps d'attente de plusieurs semaines à quelques heures.
Architecture technique
Backend
- Framework principal : Django avec architecture MVT (Model-View-Template)
- Base de données : PostgreSQL en production, SQLite en développement
- Cache : Redis pour les performances et la gestion des sessions
- Tâches asynchrones : Celery avec Redis comme broker
- Authentification : Django Allauth avec intégration Google OAuth2
- Paiements : Paddle pour la gestion des abonnements
Frontend
- Framework CSS : Tailwind CSS avec Flowbite
- Interactivité : HTMX pour les interactions dynamiques
- JavaScript : Vanilla JS avec intégration Paddle.js
- Responsive design : Mobile-first avec breakpoints adaptatifs
Fonctionnalités principales
Gestion des sites web
- Import automatique depuis Google Search Console
- Génération de clés IndexNow uniques par site
- Scan automatique des sitemaps XML
- Limitation par plan d'abonnement (1 à 50 sites)
- Gestion des quotas par service et par utilisateur
Soumission d'URLs
- Google Indexing API : Soumission directe via OAuth2
- IndexNow : Support multi-moteurs (Bing, Yandex, Naver, Seznam)
- Soumission en lot : Traitement par batch pour optimiser les performances
- Priorité : Système de marquage prioritaire pour les URLs importantes
- Vérification automatique : Contrôle du statut d'indexation via Google Search Console
Automatisation
- Scan de sitemaps : Découverte automatique de nouvelles URLs
- Soumission automatique : Traitement en arrière-plan via Celery
- Vérification périodique : Contrôle quotidien du statut d'indexation
- Nettoyage automatique : Suppression des anciennes données
Modèles de données
Website
- Gestion des domaines et clés IndexNow
- Configuration des fonctionnalités automatiques
- Suivi des quotas par service
- Intégration avec Google Search Console
URL
- Statuts multiples : pending, submitted, indexed, failed
- Suivi des soumissions par service
- Système de priorité pour les soumissions
- Historique des vérifications d'indexation
Subscription
- Plans : Free, Hobby, Professionals, Enterprise
- Gestion des quotas Google et IndexNow
- Facturation mensuelle/annuelle via Paddle
- Limites par plan (sites, URLs, soumissions)
Intégrations API
Google APIs
- Indexing API : Soumission directe d'URLs
- Search Console API : Vérification du statut d'indexation
- OAuth2 : Authentification sécurisée
- Gestion des tokens : Refresh automatique des credentials
IndexNow
- Protocole multi-moteurs : Bing, Yandex, Naver, Seznam
- Clés uniques : Génération et validation automatique
- Soumission en lot : Optimisation des performances
- Gestion des erreurs : Retry automatique et logging
Système de tâches asynchrones
Gestion des quotas
- Google : 200-2000 soumissions/jour selon le plan
- IndexNow : 4000-10000 soumissions/jour selon le plan
- Vérifications : 2000 vérifications/jour par site
- Reset automatique : Quotas quotidiens avec rollover
Sécurité et performance
Sécurité
- HTTPS obligatoire : Redirection automatique en production
- HSTS : Headers de sécurité renforcés
- CSRF protection : Protection contre les attaques CSRF
- OAuth2 sécurisé : Gestion des tokens avec refresh automatique
- Validation des données : Sanitisation des URLs et domaines
Performance
- Cache Redis : Mise en cache des données dashboard
- Compression statique : WhiteNoise pour les assets
- Base de données optimisée : Index sur les champs critiques
- Traitement asynchrone : Celery pour les tâches lourdes
- Monitoring : Prometheus pour les métriques
Interface utilisateur
Dashboard principal
- Statistiques en temps réel (URLs totales, en attente, indexées)
- Gestion multi-sites avec interface unifiée
- Soumission en lot avec sélection multiple
- Historique des soumissions et vérifications
- Gestion des quotas et limites
Fonctionnalités avancées
- Import GSC : Synchronisation automatique avec Google Search Console
- Génération IndexNow : Création automatique des clés et fichiers
- Bulk operations : Actions en masse sur les URLs
- Priority system : Marquage prioritaire pour les URLs importantes
- Real-time updates : HTMX pour les mises à jour dynamiques
Déploiement et infrastructure
Environnements
- Développement : SQLite, serveur local
- Production : PostgreSQL, Redis, Gunicorn, Traefik
- Docker : Containerisation complète avec docker-compose
- Monitoring : Prometheus, logging structuré
Services tiers
- Paddle : Gestion des paiements et abonnements
- Google APIs : Indexing API et Search Console API
- IndexNow : Protocole multi-moteurs de recherche
- Email : SMTP pour les notifications
- Storage : S3-compatible pour les fichiers
Modèle économique
Plans d'abonnement
- Free : 1 site, 100 URLs/jour, fonctionnalités limitées
- Hobby : 5 sites, 200 URLs/jour, automatisation basique
- Professionals : 20 sites, 200 URLs/jour, priorité support
- Enterprise : 50 sites, 200 URLs/jour, support dédié
Facturation
- Paiements sécurisés via Paddle
- Facturation mensuelle ou annuelle
- Réduction de 2 mois pour l'abonnement annuel
- Gestion des upgrades/downgrades en temps réel
Cette plateforme représente une solution complète pour l'optimisation SEO technique, permettant aux webmasters d'accélérer significativement l'indexation de leur contenu tout en offrant une interface moderne et intuitive pour la gestion de leurs sites web.
