hound-search/hound

Latin charset=ISO-8859-1 parse

Open

#368 aberto em 3 de nov. de 2020

Ver no GitHub
 (2 comments) (0 reactions) (0 assignees)JavaScript (5.470 stars) (606 forks)batch import
enhancementhelp wanted

Description

Hi there!

We have localized git, which store translations to languages , therefore ÖÄÕÜ etc ISO-8859-1 compliant files seem to be excluded as "Invalid UTF-8". How to overcome this problem, unfortunately i have no experience with GO to help with PR right now. Help is appreciated. for example: Lähme põõsasse sööma

Guia do colaborador

Pilha de tecnologia
go
Domain
clisearch
Tipo Issue
bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
half day
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
stale
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
mostly clear
Prerequisites
basic understanding of Gocharacter encoding fundamentals
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
40
Direção de pesquisa
Investigate how Hound currently reads and validates file content for UTF 8 in the indexing process. Look at the file reading functions in the Go codebase, likely in the 'index' or 'search' package. Consider using the golang.org/x/text/encoding package to detect and convert non UTF 8 encodings such as ISO 8859-1. Check if there are any existing configuration options for encoding. Implement a fallback or detection mechanism to allow Latin 1 encoded files to be indexed without being rejected.