[BUG] parse_gomod crashes with AttributeError on comments or blank lines inside require/exclude blocks
Les mainteneurs répondent en général sous 1 jour
Évaluation
- Difficulté
- 2/5
- Temps estimé
- 1-3 heures
- Accessibilité débutants
- 35/100
Piste de recherche
Start with src/packagedcode/go_mod.py, where the issue identifies the failing require and exclude parsing paths, and inspect related Go module parser tests. Reproduce with comments or blank lines in both block types, then confirm parsing completes and dependencies are extracted without an AttributeError. Pull request #5490 is already open against this issue.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Problem Description
parse_gomod in src/packagedcode/go_mod.py raises AttributeError: 'NoneType' object has no attribute 'group' whenever a go.mod file contains comments (e.g., // indirect) or blank lines inside a multiline require (...) or exclude (...) block.
When running a scan via the CLI (scancode --package), this unhandled exception causes ScanCode to fail silently on the go.mod file, resulting in 0 detected packages and missing all Go dependencies.
Steps to Reproduce
- Create a minimal
go.modfile containing comments or an empty line in arequireblock (typical output fromgo mod tidy):
module example.com/hello
go 1.21
require (
// Direct dependencies
github.com/stretchr/testify v1.8.4
// Indirect dependencies
github.com/davecgh/go-spew v1.1.1
)
- Run package scan:
scancode --package --json-pp scan.json go.mod
-
Notice that
scan.jsonreportspackages: [](empty list, no dependencies extracted). -
Calling
parse_gomodorGoModHandler.parsedirectly reveals the traceback:
Traceback (most recent call last):
File "src/packagedcode/golang.py", line 53, in parse
gomods = go_mod.parse_gomod(location)
File "src/packagedcode/go_mod.py", line 133, in parse_gomod
ns_name = parsed_dep_link.group('ns_name')
AttributeError: 'NoneType' object has no attribute 'group'
Root Cause
In src/packagedcode/go_mod.py, lines 132-135:
parsed_dep_link = parse_dep_link(req)
ns_name = parsed_dep_link.group('ns_name')
namespace, _, name = ns_name.rpartition('/')
if parsed_dep_link:
When req is a blank line or comment line, preprocess(req) strips it down to an empty string "". Consequently, parse_dep_link(req) returns None.
However, parsed_dep_link.group('ns_name') is called on line 133 before the if parsed_dep_link: check on line 135.
The exact same bug also exists on line 150 in the exclude (...) block:
parsed_dep_link = parse_dep_link(exc)
ns_name = parsed_dep_link.group('ns_name')
namespace, _, name = ns_name.rpartition('/')
if parsed_dep_link:
Proposed Solution
Move the attribute access inside the if parsed_dep_link: conditional block for both require and exclude:
parsed_dep_link = parse_dep_link(req)
if parsed_dep_link:
ns_name = parsed_dep_link.group('ns_name')
namespace, _, name = ns_name.rpartition('/')
require.append(
GoModule(
namespace=namespace,
name=name,
version=parsed_dep_link.group('version'),
)
)
And similarly for exclude:
parsed_dep_link = parse_dep_link(exc)
if parsed_dep_link:
ns_name = parsed_dep_link.group('ns_name')
namespace, _, name = ns_name.rpartition('/')
exclude.append(
GoModule(
namespace=namespace,
name=name,
version=parsed_dep_link.group('version'),
)
)
Environment
- ScanCode version: 33.0.0rc1 / develop branch
- OS: All
- Langage dominant
- Python
- Étoiles
- 2.7k
- Forks
- 871
- Merge moyen
- 1 j 10 h
- PR mergées (30 j)
- 3
Préparer son environnement
- Fournit un Dockerfile ou un fichier Docker Compose
- Propose un modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de aboutcode-org/scancode-toolkit
-
yarn.lock v1 with a scoped alias of an unscoped package yields no packages and no errorPeut-être pris @Shubham-dev-stack l’a pris il y a 6 jours. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 74/100
aboutcode-org/scancode-toolkit#5466 ·
Les mainteneurs répondent en général sous 1 jour
-
package-lock.json dependencies report file_references as a list inside a listPeut-être pris @Anbarasu2410 l’a pris il y a 10 jours. Ouvertebug
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
aboutcode-org/scancode-toolkit#5449 · 4 commentaires ·
Les mainteneurs répondent en général sous 1 jour
-
scancode aborts when encountering a broken RPM archivePeut-être pris @Ashutosh-Panda2004 l’a pris il y a 14 jours. Ouvertebug
Difficulté 2/5 1-3 heures Accessibilité débutants 62/100
aboutcode-org/scancode-toolkit#5407 · 3 commentaires ·
Les mainteneurs répondent en général sous 1 jour
-
Four silent bugs: IsRequiredPhrase.license_expression returns None, find_in_path ignores later PATH changes, duplicate dict keys override license mappingsPeut-être pris Une pull request liée à cette issue est ouverte ou déjà fusionnée. Ouvertebug
Difficulté 2/5 Une demi-journée Accessibilité débutants 65/100
aboutcode-org/scancode-toolkit#5405 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
parse_maintainer_name_email returns empty name and wrong email when string has "@" but no angle bracketsPeut-être pris @RohitSutar1823 l’a pris il y a 15 jours. Ouvertebug
Difficulté 2/5 1-3 heures Accessibilité débutants 84/100
aboutcode-org/scancode-toolkit#5402 ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de aboutcode-org/scancode-toolkit
Issues similaires
-
author-page correction move-papers
Difficulté 1/5 Moins d'une heure Accessibilité débutants 78/100
acl-org/acl-anthology#10978 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
PostgreSQL results table stores labels with single quotes, and a double quote in a label fails the writePeut-être pris Une pull request liée à cette issue est ouverte ou déjà fusionnée. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
GoogleCloudPlatform/professional-services-data-validator#1899 ·
Les mainteneurs répondent en général sous 4 jours
-
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
HKUDS/CLI-Anything#652 ·
-
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
Project-N-E-K-O/N.E.K.O#3813 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
Dao-AILab/flash-attention#3191 ·
Les mainteneurs répondent en général sous 4 jours