Mclibre Python Testing, comprobador de ejercicios

Qué es Mclibre Python Testing

Mclibre Python Testing es una herramienta basada en PyTest pensada para ayudar a los alumnos a comprobar que han resuelto correctamente los ejercicios propuestos en este curso.

Mclibre Python Testing es software libre publicado bajo licencia AGPLv3+. El código fuente de esta herramienta se encuentra en GitHub y el programa se distribuye a través del Python Package Index (PyPI).

La herramienta tiene dos partes:

• Un programa de servidor que genera los parámetros de pruebas para PyTest.
• Un programa de cliente que solicita al servidor los parámetros de prueba para PyTest y que ejecuta PyTest con dichos parámetros y que muestra el resultado de las pruebas.

El alumno sólo necesita instalar el programa cliente. El programa cliente requiere las bibliotecas PyTest y Requests, que se deben instalar previamente, como se comenta en la lección Instalación de MPTC.

¿Cómo se utiliza Mclibre Python Testing Client?

En la lección Instalación de Mclibre Python Testing Client (MPTC) se comentan las diferentes opciones de instalación (como módulo de sistema o en entorno virtual) en diferentes sistemas operativos (Windows o Ubuntu).

Una vez instalado MPTC, su uso es sencillo. Los pasos a realizar serían los siguientes:

1. Elegir un ejercicio que incluya el identificador MPTC del ejercicio:

   Los ejercicios para los que hay disponibles tests automáticos de MPTC se pueden identificar por el cuadro situado en la parte superior derecha del enunciado, como en el ejemplo siguiente:

   Ejemplo de ejercicio - 1

   Escriba un programa que salude al mundo.

   ¡Hola, mundo!
   

   El número del cuadro indica el identificador del ejercicio en MPTC. En el ejemplo anterior, el número sería 1001.

2. Escribir el programa:

   Escriba el programa que resuelve el ejercicio, siguiendo la plantilla de la lección Programa básico. Este punto es muy importante, ya que sólo se pueden validar los programas que siguen esta plantilla.

   El programa correspondiente al ejemplo anterior podría ser el siguiente:

   def main():
       print("¡Hola, mundo!")
   
   
   if __name__ == "__main__":
       main()
   

3. Abrir una ventana de terminal en el directorio que contiene el programa.

   Este punto es muy importante, ya que sólo se pueden validar los programas desde el directorio que contiene el programa.

4. Comprobar el funcionamiento del programa manualmente:

   Compruebe que el programa funciona correctamente ejecutando el programa (escriba la orden python nombre_del_programa.py, donde nombre_del_programa.py es el nombre del programa) y comparando el resultado con el enunciado.

   python p_1001.py
   ¡Hola, mundo!
   
   

5. Comprobar el funcionamiento del programa con MPTC

   En el terminal, escriba la orden mptc nombre_del_programa.py identificador_mptc, donde nombre_del_programa.py es el nombre del programa e identificador_mptc es el identificador MPTC del ejercicio:

   mptc p_1001.py 1001
   

   En el terminal, MPTC muestra tres grupos de mensajes:

   • En el primer grupo (BIENVENIDO), MPTC informa del número de tests que se van a realizar.
   • En el segundo grupo (EJECUCIÓN DE LOS TESTS), MPTC informa del resultado de cada test a medida que se van ejecutando.
   • En el tercer grupo (RESULTADOS), MPTC muestra un resumen del resultado final.

   mptc p_1001.py 1001
   
   -+-+-+-+-+-+-+-+- MCLIBRE PYTHON TESTING -+-+-+-+-+-+-+-+-
   
   -+-+-+-+-+-+-+-+-       BIENVENIDO       -+-+-+-+-+-+-+-+-
   
   Se va a ejecutar 1 test.
   
   Por favor, espere a que se ejecuten todos los tests.
   
   Una vez ejecutados, se mostrará el resultado.
   
   -+-+-+-+-+-+-+-+- EJECUCION DE LOS TESTS -+-+-+-+-+-+-+-+-
   
   Ejecutando el test 1. Por favor, espere. Test 1 superado.
   
   -+-+-+-+-+-+-+-+-       RESULTADOS       -+-+-+-+-+-+-+-+-
   
   Programa probado: p_1001.py
   Número MPTC:      1001
   
   Se ha ejecutado 1 test.
   
   Se han superado todos los tests. ¡Enhorabuena!
   

6. Corregir en su caso los errores detectados

   En caso de que falle alguno de los tests, MPTC muestra información sobre el error producido, que puede utilizarse para corregir el error.

   Por ejemplo, si el programa probado hubiera sido el siguiente:

   def main():
       print("Hola, mundo")
   
   
   if __name__ == "__main__":
       main()
   

   ... en el terminal, MPTC hubiera mostrado el siguiente resultado, que nos indica que el mensaje mostrado por el programa no es exactamente igual al solicitado en el enunciado (en este caso, faltan los signos de exclamación):

   mptc p_1001.py 1001
   
   -+-+-+-+-+-+-+-+- MCLIBRE PYTHON TESTING -+-+-+-+-+-+-+-+-
   
   -+-+-+-+-+-+-+-+-       BIENVENIDO       -+-+-+-+-+-+-+-+-
   
   Se va a ejecutar 1 test.
   
   Por favor, espere a que se ejecuten todos los tests.
   
   Una vez ejecutados, se mostrará el resultado.
   
   -+-+-+-+-+-+-+-+- EJECUCION DE LOS TESTS -+-+-+-+-+-+-+-+-
   
   Ejecutando el test 1. Por favor, espere. Test 1 fallado.
   
   -+-+-+-+-+-+-+-+-       RESULTADOS       -+-+-+-+-+-+-+-+-
   
   Programa probado: p_1001.py
   Número MPTC:      1001
   
   Se ha ejecutado 1 test.
   Se han superado 0 tests.
   Ha fallado 1 test.
   
   Test fallado:
     Resultado esperado: "¡Hola, mundo!"
     Resultado obtenido: "Hola, mundo"
   
   1 test ha fallado. Por favor, corrija el programa y pruebe de nuevo.
   

¿Cómo funciona Mclibre Python Testing Client (MPTC)?

Cuando se invoca Mclibre Python Testing Client (MPTC) realiza las siguientes operaciones:

• MPTC solicita al programa de servidor las pruebas a realizar. El servidor envía un número variable de pruebas. Cada prueba contiene:
  • unos valores de entrada (los que escribiría el usuario)
  • unos valores aleatorios (en caso de que el programa genere valores aleatorios)
  • los valores de salida que debería mostrar el programa para los valores de entrada o aleatorios anteriores.
• Los valores de prueba que se reciben del servidor no son siempre los mismos. Las pruebas intentan cubrir todas las situaciones que el programa debe resolver. Algunos de los valores sí que se repiten (por ejemplo, los casos límite o los que deben provocar avisos del programa), pero otros se generan de forma aleatoria (por ejemplo, si un programa debe reaccionar de forma distinta en caso de que el usuario escriba un número par o un número impar, habrá siempre una prueba que envíe un número par y otra prueba que envíe un número impar, pero los números concretos enviados variarán en cada ejecución de MPTC).
• MPTC ejecuta el programa del alumno tantas veces como pruebas se han recibido del servidor.
• En cada ejecución, MPTC suplanta al usuario y proporciona al programa los valores de entrada enviados por el servidor. MPTC también suplanta partes del programa, como por ejemplo cuando se generan valores aleatorios. MPTC recoge la salida del programa..
• MPTC compara la salida del programa con los valores esperados enviados por el servidor. Si coinciden exactamente, la prueba se considera superada. Si hay cualquier diferencia, la prueba se considera fallada. La diferencia puede ser importante (mensajes completamente distintos a los esperados, resultados numéricos incorrectos, etc.) o poco importante (erratas en algún mensaje como acentos, puntuación, espacios en blanco, mayúsculas, minúsculas, etc.),
• Finalmente, MPTC muestra un resumen del resultado de las pruebas: cuántas pruebas se han realizado, cuántas se han superado y cuántas han fallado. En el caso de las pruebas falladas, MPTC muestra los valores de entrada y aleatorios utilizados en la prueba y los valores de salida que no coinciden con los esperados. Si la diferencia que ha provocado el fracaso de la prueba es poco importante (acentos, mayúsculas, etc.), el alumno puede corregir fácilmente el programa comparando el valor esperado con el obtenido. Si la diferencia es más importante (mensajes o cálculos incorrectos, etc.), el alumno puede corregir el programa ayudándose de los valores de entrada que han provocado el fallo.

Limitaciones de MPTC

MPTC no realiza un análisis del programa, simplemente comprueba que la salida del programa coincide con la esperada para unos valores determinados de entrada.

Si un programa supera todas las pruebas de MPTC, el alumno puede considerar que su programa es muy probablemente correcto, pero no es una garantía absoluta de que el programa no contenga errores. Puede que el programa no funcione correctamente para ciertos valores de entrada que no se han probado o que genere valores aleatorios incorrectos.

Por otro lado, que un programa no supere las pruebas no significa necesariamente que el programa sea incorrecto. En la mayoría de los casos, cuando un programa trabaja a partir de valores introducidos por el usuario, sí que el fallo en una prueba corresponde a un fallo del programa, pero cuando el programa genera valores aleatorios, puede que el fallo de las pruebas no corresponda a un fallo del programa.

Por ejemplo, imaginemos un ejercicio que pide simplemente mostrar un valor de un dado. La solución podría ser el siguiente programa:

import random


def main():
    dado = random.randrange(1, 7)
    print(f"Ha sacado un {dado}.")


if __name__ == "__main__":
  main()

La prueba MPTC podría consistir en este caso en inyectar un valor aleatorio del uno al seis y comprobar que ese valor se muestra al usuario. Se podrían realizar incluso seis pruebas distintas, inyectando en cada prueba uno de los valores del 1 al 6.

Sin embargo, consideremos el siguiente programa:

import random


def main():
    dado = random.randrange(1, 6)
    print(f"Ha sacado un {dado}.")


if __name__ == "__main__":
  main()

Este programa superaría las pruebas MPTC igual que el programa anterior y sin embargo no es correcto, ya que este programa no mostraría nunca el valor 6. Como MPTC sustituye los valores aleatorios generados por el programa por los valores de la prueba, MPTC no puede darse cuenta de que el programa nunca genera el valor 6, porque al inyectar MPTC el valor 6, el programa escribiría el valor 6 correctamente. El problema es que el programa nunca genera el valor 6.

Consideremos ahora el siguiente programa:

import random


def main():
    dado = random.randrange(0, 6)
    print(f"Ha sacado un {dado + 1}.")


if __name__ == "__main__":
  main()

Este programa es correcto porque mostraría siempre un valor entre 1 y 6 y sin embargo al pasarle las pruebas MPTC todas las pruebas fallarían. ¿Por qué? Porque al inyectar un valor, por ejemplo 5, MPTC espera que se escriba que se ha sacado un 5, pero este programa escribiría que se ha sacado un 6. El programa es correcto porque genera valores de 0 a 5 y escribe uno más del valor generado, pero como los valores inyectados van del 1 al 6, los resultados no coinciden con los valores inyectados.

El alumno debe ser consciente de estas limitaciones y utilizar MPTC como lo que es, una herramienta de ayuda para la prueba de programas, pero no como un oráculo infalible.

Cómo utilizar MPTC en Visual Studio Code

Los pasos para utilizar Mclibre Python Testing Client en Visual Studio Code son los siguientes:

• Elegir un ejercicio que incluya el identificador MPTC del ejercicio:

  Los ejercicios para los que hay disponibles tests automáticos de MPTC se pueden identificar por el cuadro situado en la parte superior derecha del enunciado, como en el ejemplo siguiente:

  Ejemplo de ejercicio - 1

  Escriba un programa que salude al mundo.

  ¡Hola, mundo!
  

  El número del cuadro indica el identificador del ejercicio en MPTC. En el ejemplo anterior, el número sería 1001.

• Escribir el programa:

  Escriba el programa que resuelve el ejercicio, siguiendo la plantilla de la lección Programa básico.

  El programa correspondiente al ejemplo anterior podría ser el siguiente:

  def main():
      print("¡Hola, mundo!")
  
  
  if __name__ == "__main__":
      main()
  

• Abrir una ventana de terminal en el directorio que contiene el programa:

  Para ello, haga clic derecho sobre el directorio o el programa y elija la opción "Abrir en terminal":

  

  Se abrirá una ventana de terminal en el directorio:

  

• Comprobar el funcionamiento del programa manualmente:

  Compruebe que el programa funciona correctamente ejecutando el programa (escriba la orden python nombre_del_programa.py o py nombre_del_programa.py, donde nombre_del_programa.py es el nombre del programa) y comparando el resultado con el enunciado.

  

• Comprobar el funcionamiento del programa con MPTC

  En el terminal, escriba la orden mptc nombre_del_programa.py identificador_mptc, donde nombre_del_programa.py es el nombre del programa e identificador_mptc es el identificador MPTC del ejercicio:

  

  En el terminal, MPTC muestra tres grupos de mensajes:

  • En el primer grupo (BIENVENIDO), MPTC informa del número de tests que se van a realizar.

    

  • En el segundo grupo (EJECUCIÓN DE LOS TESTS), MPTC informa del resultado de cada test a medida que se van ejecutando.

    

  • En el tercer grupo (RESULTADOS), MPTC muestra un resumen del resultado final.

    

• Corregir en su caso los errores detectados

  En caso de que falle alguno de los tests, MPTC muestra en el terminal información sobre el error producido, que puede utilizarse para corregir el error.

  En el terminal, MPTC muestra tres grupos de mensajes:

  • En el primer grupo (BIENVENIDO), MPTC informa del número de tests que se van a realizar.

    

  • En el segundo grupo (EJECUCIÓN DE LOS TESTS), MPTC informa del resultado de cada test a medida que se van ejecutando.

    

  • En el tercer grupo (RESULTADOS), MPTC muestra un resumen del resultado final y una explicación más detallada del error producido (en este caso, nos indica que el mensaje mostrado por el programa no es exactamente igual al solicitado en el enunciado ya que faltan los signos de exclamación:

    

Si ha configurado Visual Studio Code de acuerdo con la lección Configuración recomendada de VSCode, puede utilizar los atajos de teclado:

• Ctrl+Alt+F5 y Ctrl+Alt+Mayús+F5 para ejecutar los programas sin tener que abrir previamente la ventana de terminal (como se explica en el apartado Ejecutar un programa de esa lección).
• Ctrl+Alt+F6 para comprobar los programas sin tener que abrir previamente la ventana de terminal (como se explica en el apartado Ejecutar MPTC de esa lección).

Protección de datos

El único dato que el cliente envía al servidor es el número de ejercicio, imprescindible para poder suministrar al cliente los valores de prueba.

Una vez recibidos los valores de prueba, la prueba se realiza en el ordenador del cliente.

El cliente no envía el programa que se va a probar, ni los resultados de las pruebas, ni la identificación.

Detalles a tener en cuenta

Si el primer argumento no es únicamente el nombre del fichero, MPTC no ejecuta los tests

MPTC debe invocarse desde el mismo directorio en el que se encuentra el programa que se desea probar. Al llamar a MPTC, el primer argumento debe ser el nombre del fichero que contiene el programa. No pueden usarse ni caminos relativos ni absolutos. Si se utilizan caminos absolutos o relativos, se mostrará un mensaje de error, como en el ejemplo siguiente:

PS C:\Users\Barto\Documents\LMSGI Barto\Python\>mptc pruebas\ejemplo_mptc_1000.py 1000
Error: No se permiten caminos absolutos o relativos [pruebas\ejemplo_mptc_1000.py].
Por favor, ejecute MPTC en el directorio en el que se encuentra su programa.