Bring Docker API server to feature parity with Crawl4AI v0.7.x
Los mantenedores suelen responder en 2 días
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- docker, python
- Área
- api, backend, documentation, testing-qa
Línea de trabajo
Start by reviewing the existing Docker API routes and schemas.py, then compare them with the listed Crawl4AI library feature groups. Trace the requested endpoints, request schemas, documentation, examples, and minimal end-to-end tests. Done means the missing feature groups are exposed with documented parameters and validated happy and error paths.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Description
The Docker API server lags behind the Python library. This issue tracks adding endpoints/parameters to expose the following library features:
1. Adaptive crawling
- AdaptiveCrawler, AdaptiveConfig, CrawlState, CrawlStrategy, StatisticalStrategy
- Missing: endpoints to run/tune adaptive crawls
2. C4A Script language
- c4a_compile, c4a_validate, c4a_compile_file, CompilationResult, ValidationResult, ErrorDetail
- Missing: submit/validate/execute script endpoints
3. URL seeding
- AsyncUrlSeeder, SeedingConfig
- Missing: sitemap/common-crawl/discovery endpoints
4. Chunking
- ChunkingStrategy, RegexChunking
- Missing: chunking configuration
5. Browser adapters
- BrowserAdapter, PlaywrightAdapter, UndetectedAdapter
- Missing: adapter/stealth selection
6. Proxy rotation
- ProxyRotationStrategy, RoundRobinProxyStrategy
- Missing: rotation strategy selection (beyond raw proxy)
7. Dispatchers
- SemaphoreDispatcher, BaseDispatcher
- Missing: dispatcher selection (only MemoryAdaptive used internally)
8. Link preview
- LinkPreview, LinkPreviewConfig
- Missing: link preview/scoring endpoint
9. Profiling/monitoring
- BrowserProfiler, CrawlerMonitor
- Missing: profiling/monitoring endpoints
10. HTTP-only crawling
- HTTPCrawlerConfig
- Missing: HTTP crawler methods/params (non-browser). API uses browser-based crawling with LXMLWebScrapingStrategy
11. Virtual scroll
- VirtualScrollConfig
- Missing: infinite-scroll capture configuration
12. Undetected/stealth browser
- UndetectedAdapter; browser_config/browser_type='undetected'; stealth options
- Missing: explicit stealth mode controls
Acceptance criteria
1. New/extended endpoints and/or request schemas added
- New endpoints: Add missing API routes (e.g.,
/adaptive/crawl,/deep-crawl,/c4a-script/compile,/hub/crawlers) - Extended schemas: Enhance existing endpoints to accept new parameters (e.g., add
virtual_scroll_configto/crawl, addtable_extraction_strategyoptions) - Request schemas: Update
schemas.pyto include new request models for the missing features
2. Docs and examples updated
- API documentation: Update the docs to show new endpoints and parameters
- Parameter documentation: Add descriptions, examples, and validation rules for new fields
- Examples: Add working code examples showing how to use each new feature.
3. Minimal e2e tests per feature group
- Test coverage: Create integration tests that verify each new feature works end-to-end
- Happy path: Test successful usage of each feature
- Validation: Test error handling (invalid parameters, edge cases, etc.)
- Feature groups: Organize tests by category (adaptive crawling, deep crawling, C4A scripts, etc.)
- Lenguaje dominante
- Python
- Estrellas
- 85.9k
- Forks
- 8.9k
- Merge medio
- 5 d 8 h
- PR fusionados (30 d)
- 24
Preparar el entorno
- Incluye un Dockerfile o un archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de unclecode/crawl4ai
-
[Bug]: Text after an inline <link>, <meta>, <style> or <noscript> is dropped from cleaned_html and markdownPosiblemente ocupada Un pull request vinculado a esta issue está abierto o ya se fusionó. Abierto🐞 Bug 🩺 Needs Triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
unclecode/crawl4ai#2416 · 1 comentario ·
Los mantenedores suelen responder en 2 días
-
[Bug]: Since 0.9.1, Linux launches chrome-headless-shell instead of ChromiumPosiblemente ocupada Un pull request vinculado a esta issue está abierto o ya se fusionó. Abierto🐞 Bug 🩺 Needs Triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
unclecode/crawl4ai#2382 · 1 comentario ·
Los mantenedores suelen responder en 2 días
-
[Bug]: BestFirstCrawlingStrategy fetches a full batch past max_pagesPosiblemente ocupada Un pull request vinculado a esta issue está abierto o ya se fusionó. Abierto🐞 Bug 🩺 Needs Triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 74/100
unclecode/crawl4ai#2381 · 1 comentario ·
Los mantenedores suelen responder en 2 días
-
[Bug]: CrawlerRunConfig.clone() drops fallback_fetch_function, so deep crawls never use itPosiblemente ocupada @siva23367 la tomó hace 4 días. Abierto🐞 Bug 🩺 Needs Triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
unclecode/crawl4ai#2379 · 1 comentario ·
Los mantenedores suelen responder en 2 días
-
[Bug]: Docker memory guard reads host RAM when no container limit is set — cgroup v2 "max" defeats get_container_memory_percentPosiblemente ocupada @Battleplus la tomó hace 60 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
unclecode/crawl4ai#2123 · 1 comentario ·
Los mantenedores suelen responder en 2 días
Todos los issues de unclecode/crawl4ai
Issues similares
-
type-bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Los mantenedores suelen responder en 1 día
-
push_gh-pages fails on master branch on forksPosiblemente ocupada Un pull request vinculado a esta issue está abierto o ya se fusionó. Abiertogood first issue infrastructure
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
kuznia-rdzeni/coreblocks#1135 ·
-
good first issue server
Dificultad 2/5 1-3 horas Aptitud para principiantes 85/100
Los mantenedores suelen responder en 1 día
-
documentation priority: high
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
a-lex-s/mealie-telegram-bot#54 ·
Los mantenedores suelen responder en 1 día