trufflesecurity/trufflehog

Fix broken & inaccurate detector unit tests

Ouverte

#3 817 ouverte le 26 déc. 2024

Voir sur GitHubGuide contributeur
 (7 commentaires) (0 réaction) (1 personne assignée)Go (2 397 forks)batch import
bugcontributions welcomedgood first issuepkg/detectors

Métriques du dépôt

Stars
 (26 285 étoiles)
Métriques de merge PR
 (Merge moyen 28j 2h) (41 PRs mergées en 30 j)

Description

The detector unit tests were created by "reverse engineering" the patterns, thus they do not provide any real value or confirm how accurate the detectors are.

Additionally, the structure of the tests are (in my opinion) not maintainable as they are difficult to understand and do not reflect any realistic scenarios.

https://github.com/trufflesecurity/trufflehog/blob/def734a783b2d4542f2b353d326130d618f3c421/pkg/detectors/netsuite/netsuite_test.go#L14-L44

Examples

There are dozens, if not hundreds, of problematic test files. These are illustrative.

BombBomb

The "valid" tests for BombBomb do not match the detector's pattern.

https://github.com/trufflesecurity/trufflehog/blob/def734a783b2d4542f2b353d326130d618f3c421/pkg/detectors/bombbomb/bombbomb.go#L24

https://github.com/trufflesecurity/trufflehog/blob/def734a783b2d4542f2b353d326130d618f3c421/pkg/detectors/bombbomb/bombbomb_test.go#L15

Kraken

The "valid" pattern is nonsensical and not correct base64 encoding. The detector should not match this, that is a defect.

https://github.com/trufflesecurity/trufflehog/blob/def734a783b2d4542f2b353d326130d618f3c421/pkg/detectors/kraken/kraken_test.go#L16

image https://support.kraken.com/hc/en-us/articles/360000919966-How-to-create-an-API-key

viewneo

A few hundred detectors contain tests tightly coupled to the current implementation of PrefixRegex. Any changes to the prefix pattern will break the detector tests, which seems inadvisable.

https://github.com/trufflesecurity/trufflehog/blob/def734a783b2d4542f2b353d326130d618f3c421/pkg/detectors/viewneo/viewneo_test.go#L38-L42

Guide contributeur

Direction de recherche
Le problème identifie que les tests unitaires des détecteurs dans de nombreux fichiers (par exemple pkg/detectors/netsuite/netsuite test.go, bombbomb test.go, kraken test.go, viewneo test.go) sont inexacts et étroitement couplés aux détails d'implémentation. Tout d'abord, examinez les exemples fournis pour comprendre les problèmes spécifiques : données de test non valides, encodage base64 incorrect et dépendance à PrefixRegex. Ensuite, étudiez un sous ensemble de détecteurs pour définir une norme pour des modèles de test valides correspondant à des informations d'identification réelles. Après avoir établi un modèle, refactorisez les tests pour qu'ils soient précis et maintenables, et réfléchissez à la manière de les découpler des modifications internes des regex. Ne corrigez pas tous les tests en une seule fois ; proposez un plan d'améliorations incrémentielles et obtenez les retours du mainteneur.
Stack technique
go
Domaine
backendtesting
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Go
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
75