Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

Does Post-training full integer quantization support BERT?

Abierto
  • ¿Algo no está bien?
#1,066 1 comentario 0 reacciones 1 asignado Ver en GitHub

@yyoon ya está trabajando en esto.

Desde el 3/5/2023.

Evaluación

Este issue todavía no se ha evaluado.

Descripción

bug

Does Post-training full integer quantization in https://www.tensorflow.org/lite/performance/post_training_integer_quant#convert_using_float_fallback_quantization support BERT?
I convert my pb model to tf lite:

    dataset = create_dataset()

    def representative_dataset():
        for data in dataset:
            yield {
                "token_type_ids": np.array(data.segment_ids),
                "attention_mask": np.array(data.input_mask),
                "input_ids": np.array(data.input_ids),
            }   

    converter = tf.lite.TFLiteConverter.from_saved_model(pb_dir)
    converter.optimizations = [tf.lite.Optimize.DEFAULT]
    converter.representative_dataset = representative_dataset
    tflite_quant_model = converter.convert()
    tflite_path = res_tf_lite_file
    open(tflite_path, "wb").write(tflite_quant_model)
    assert os.path.exists(tflite_path)
    print("tflite model={} converted successfully.".format(tflite_path))

    interpreter = tf.lite.Interpreter(model_path=tflite_path)
    # Get input and output tensors
    input_details = interpreter.get_input_details()
    output_details = interpreter.get_output_details()
    print(f'tflite input {input_details}')
    print(f'tflite output {output_details}')

I use float fallback quantization from https://www.tensorflow.org/lite/performance/post_training_integer_quant.
However the result is totally different compare to the not quantization result.
Anyone can help? Thanks a lot!

Lenguaje dominante
Python
Estrellas
1.6k
Forks
349
Sin PR fusionados en 30 d

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de tensorflow/model-optimization

Todos los issues de tensorflow/model-optimization

Issues similares

Más issues de Python

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.