confluentinc/confluent-kafka-python

Fix type hinting of avro messages

Open

#466 ouverte le 11 oct. 2018

Voir sur GitHub
 (3 commentaires) (0 réactions) (0 assignés)Python (909 forks)batch import
code:pythoncomponent:schema-registrygood first issuemaintenance

Métriques du dépôt

Stars
 (3 526 stars)
Métriques de merge PR
 (Merge moyen 10j 2h) (27 PRs mergées en 30 j)

Description

Description

I use Pycharm as my IDE, and I dislike seeing complaints about type mismatch. The value attribute of Message objects is typed as Optional[Union[str, bytes]]. However, AvroConsumers set that value to the deserialized message, i.e. whatever python datatype match the avro schema(most often, a dict). This generates red flags for any type checkers when I treat that value as a dict(or whatever I expect the deserialized message to be).

Not sure what's the best way to change the type hinting when using C bindings.

Edit: Also, Pycharm thinks Message.value takes a payload argument. Not sure why that is.

How to reproduce

e.g.

consumer = AvroConsumer(...)
message = consumer.poll()
field = message.value().get("field") # Pycharm highlights this as an error

Checklist

Please provide the following information:

  • confluent-kafka-python and librdkafka version (confluent_kafka.version() and confluent_kafka.libversion()): confluent_kafka.version() = ('0.11.5', 722176), confluent_kafka.libversion() = ('0.11.5', 722431)
  • Apache Kafka broker version: N/A
  • Client configuration: N/A
  • Operating system: N/A
  • Provide client logs (with 'debug': '..' as necessary)
  • Provide broker log excerpts
  • Critical issue

Guide contributeur

Direction de recherche
Examinez les fichiers stub de type (*.pyi) pour la classe Message et AvroConsumer. Mettez à jour l'indice de type pour l'attribut value de Message dans le contexte de la sérialisation Avro. Assurez vous que le type est correctement spécifié comme type désérialisé (par exemple, dict) lors de l'utilisation d'AvroConsumer. Envisagez d'utiliser des génériques ou des surcharges pour gérer différents formats de sérialisation.
Stack technique
python
Domaine
backendapi
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-3 heures
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
Pythonconfluent kafka pythontype hints
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
65