swiftlang/swift-package-manager

[SR-8671] ARG_MAX limit exceeded when compiles huge project

Open

#5.341 geöffnet am 31. Aug. 2018

Auf GitHub ansehen
 (9 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Swift (1.462 Forks)batch import
buggood first issue

Repository-Metriken

Stars
 (10.145 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 9T 13h) (90 gemergte PRs in 30 T)

Beschreibung
Previous ID SR-8671
Radar rdar://problem/43940293
Original Reporter Pogonets (JIRA User)
Type Bug

Attachment: Download
Votes 3
Component/s Package Manager
Labels Bug, StarterBug
Assignee None
Priority Medium

md5: 7fd3bd1478f560273a7837164b9d76a9

Issue Description:

macOS have a relative small ARG_MAX limit (256kb)

When you compile huge project with SwiftPM they pass all sources one by one as arguments. Each file is passed as absolute path. And with count of files ~1000 (800 in our case) command line args become too long to even start command.

Error message is meaningless by the way

unable to spawn process (File exists)

This issue even easier to reach when linking multiple swift modules to single dynamic library (all object files from all modules passed to compiler as single line).

This is pretty common issue for build tools and usually solved with response files. Response files supported by clang, ld.gold and many other tools.

Contributor Guide

Research-Richtung
Untersuchen Sie den SwiftPM Quellcode, insbesondere die Dateien `SwiftCompilerTool` oder `BuildOperation`, um zu verstehen, wie Befehlszeilen für clang konstruiert werden. Implementieren Sie eine Prüfung der Befehlszeilenlänge gegen ARG MAX, und wenn diese überschritten wird, schreiben Sie eine temporäre Antwortdatei mit den Eingabedateien und übergeben `@file` an clang. Stellen Sie sicher, dass die Lösung auch für den Linker Schritt gilt. Testen Sie mit einem großen Projekt, um die Korrektur zu überprüfen.
Tech Stack
swift
Domain
build systemperformance
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Halber Tag
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Veraltet
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
SwiftSwiftPM internalsARG MAX limitclang response files
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
70