Blog du testeur

Outil de test : Sandbox IBM

Dominique Mereaux — Mon, 16 Jan 2012 21:06:00 +0100

Il est possible de tester les outils de gestion de plan de test d'IBM grâce à la mise à disposition d'une sandbox. Une fois enregistré vous aurez accès à : Rational Team Concert 3.0.1 Rational Quality Manager 3.0.1 Rational Requirements Composer 3.0.1 Le premier permet de gérer le projet dans sa globalité (gestion des tâches, gestion de configuration). Le second permet de gérer les test et le troisième les exigences. Tous les artéfacts des uns et des autres sont liés et on passe d'un outil à l'autre sans s'en rendre compte. Il n'y a pas arborescence comme dans les outils tels Quality Center. Il faudra donc associer les tests aux bons artéfacts (story, exigences ...) et prévoir des attributs pour retrouver et gérer correctement ses tests.

Framework de test : Robot Framework

Dominique Mereaux — Sat, 17 Sep 2011 17:19:00 +0200

Actuellement je travaille sur un framework de test intéressant à mon sens nommé Robotframework.

Il est né des besoins suivants:

Offrir un langage de haut niveau pour des testeurs fonctionnels
Possibilités d'écrire des tests de recette avant livraison du produit

Le principe est le suivant :

des mots-clefs de base correspondent à des actions unitaires (par exemple "entrer une chaine de caractères dans le champ de login", "entrer une chaine de caractère dans le champ password", "cliquer sur login" ...)
On peut créer des mots-clefs à partir d'autre mots-clefs, par exemple un mot clef login correspond à la séquence "entrer une chaine de caractères dans le champ de login" + "entrer une chaine de caractère dans le champ password" + "cliquer sur login"

Il offre les fonctionnalités suivantes:

Ecrire des tests de type "Behavior Test Driven"
Ecrire des tests de type "Data Test Driven"
Gestion de variable de test avec des valeurs par défaut
Fourniture d'un rapport de test html (excellent)
Possibilités de tagger les tests afin de fournir des résultats par tag
Library d'action de base Selenium, AutoIt ...
Possibilité de créer sa propre library
Library de gestion système (création fichier, directory ....)
Library dédié test (screenshot, step manuel ...)
Découpage en test et test suite
Possibilité d'arborescence pour classer les tests
Possibilité d'associer des actions de début et fin de test (pré requis, post test)
Format des tests : html, csv ou texte.

Etc ...

Quelques défauts :

L'éditeur de test n'est pas terrible voir buggé
Pas de vrai gestion de test mais il y aurait une possibilité de le connecter à testlink.

Voilà après quelques essais je suis assez emballée ...

Testlink 1.9 nouvelles fonctionalités

Dominique Mereaux — Sat, 17 Sep 2011 14:29:00 +0200

La version testlink 1.9 est sortie depuis la fin de l'année dernière. Elle comporte de nouvelles fonctionnalités intéressantes:

Gestion des steps pour les tests
Gestion des environnements de tests (un test peut-être passé sur plusieurs environnements)
Une meilleure gestion des versions (étendue aux exigences et possibilité de comparer les versions)
Amélioration de la gestion des exigences (arborescence à plusieurs niveaux, relation entre exigences)
etc...

Plein de nouveautés à découvrir pour cet outil du libre, alternative à Quality Center (HP). Une fonctionnalité qui m'a plu : Chaque fois que l'on créé une exigence on peut définir le nombre de tests que l'on pense y associer. Grâce à cette information on pourra suivre la progression de la couverture des exigences par le plan de test, et surtout calculer le reste à faire ...

Selenium : Element-filters

Dominique Mereaux — Sat, 17 Sep 2011 10:50:00 +0200

A quoi servent les element-filters : ce post, je l'espère va vous l'expliquer.

Soit le code extrait de meto.fr qui permet de sélectionner celsius ou fahrenheit pour la température:

degrés Celsius (°C)

degrés Fahrenheit (°F)

<p class="clearfix"><span>

<input checked="checked" class="checkbox" id="celsius" name="unit" type="radio" value="celsius"/>

<label for="celsius">degrés Celsius (°C)</label>

</span></p>

<p class="clearfix"><span>

<input class="checkbox" id="fahrenheith" name="unit" type="radio" value="fahrenheith"/>

<label for="fahrenheith">degrés Fahrenheit (°F)</label>

</span>

Tel que on ne peut pas sélectionner l'élément en utilisant le nom (Name=unit), d'où l'intéret d'utiliser les element-filters qui vont permettre de raffiner la recherche :

<tr> <td>click</td> <td>link=Options</td> <td></td> </tr> <tr> <td>click</td> <td>name=unit index=1</td> <td></td> </tr>

Ici on prendra le deuxième élément avec name=unit (index commence à 0).

Il existe deux types d'element-filter:

index : que l'on vient de voir et
Value : si l'élément possède une "value" on peut utiliser cette dernière pour préciser la recherche tel que dans l'exemple suivant :

<tr> <td>click</td> <td>link=Options</td> <td></td> </tr> <tr> <td>click</td> <td>name=unit value=celsius</td> <td></td> </tr>

Test exploratoire

Dominique Mereaux — Sat, 17 Sep 2011 10:27:00 +0200

Il s'agit d'une méthode qui consiste à exécuter des tests sans plan de test préalable. La conception des tests se fait au fur et à mesure de l'apprentissage de l'application par le testeur et à partir des manuels utilisateurs ou aide en ligne fourni en même temps que le logiciel à tester.

Les points positifs:

Économie de moyen, pas de process lourd
Créativité de par la méthode et l'absence de cadre
Retour rapide, nombre d'anomalies important
Vision utilisateur
Adaptabilité
Test basé sur l'expérience et l'intuition

Les points négatifs:

Nécessite des testeurs expérimentés.
Le processus de test débute trop tard, pas de prévention.
Pas de couverture d'exigence, certains points peuvent être alors négligés.
La pertinence des tests dépend de l'expérience des testeurs.

Dans quels cas utiliser cette méthode:

Absence de processus et de structuration, néanmoins il faut une aide en ligne ou un manuel utilisateur à jour.
Moyen de retour rapide qui pourrait être utiliser comme "smoke test" avant de débuter un processus de test structuré.
En beta test amélioré avant déploiement sur le terrain pour détecter des problèmes non vus par les équipes de développement.
Pour des prototypes ou pilotes qui ne nécessitent pas un investissement en test couteux.

Basé sur l'expérience, la créativité de testeurs confirmés, ce type de test permet de découvrir des anomalies qui échappent à des techniques structurées. En effet les processus de test classiques n'encouragent pas à "sortir des sentiers battus" et imaginer lors des phases d'exécution de nouveaux tests autres que ceux planifiés (pression des plannings, exécutants non expérimentés ...). Il m'a souvent été reproché de passer des tests non prévus, mais comment avec toute la meilleure volonté du monde écrire un plan de test exhaustif à partir de spécifications surtout quand sont abordées les exigences de type non fonctionnelles telles que la robustesse.

Ne faire que du test exploratoire me parait également non suffisant. Le risque est de ne pas tester certaines parties. Tout dépend de la motivation et l'expérience du testeur. S'il quitte la société?

Par contre combiné à d'autre stratégie de type méthodique il est un complément intéressant, puissant,peu couteux et peut s'intégrer à part entière dans le processus de test.

TOP 25 des erreurs logicielles générant des problèmes de sécurité

Dominique Mereaux — Sat, 17 Sep 2011 10:22:00 +0200

Voici un site qui vous donnera des idées pour tester les aspects sécurité des logiciels:
TOP 25

Outil pour réduire la combinatoire

Dominique Mereaux — Sat, 17 Sep 2011 10:17:00 +0200

Pairwise Testing: PICT est un outil qui permet de réduire la combinatoire des tests. Intéressant à appliquer dans le cas de test sur différentes configurations matérielles et logicielles, par exemple:

PLATFORM: x86, ia64, amd64

CPUS: Single, Dual, Quad

RAM: 128MB, 1GB, 4GB, 64GB

HDD: SCSI, IDE

OS: NT4, Win2K, WinXP, Win2K3

IE: 4.0, 5.0, 5.5, 6.0

APP: SQLServer, Exchange, Office

Tester toutes les combinaisons est impossible. Cet outil vous permet de construire des combinaisons en couvrant toutes les paires possibles ou tous les triplets (au choix).

Vous pouvez également définir des contraintes, telle que si un paramètre prend telle valeur alors un paramètre prendra une valeur bien définie, bref contrôler la génération des combinaisons. pict

liste d'outils de tests

Dominique Mereaux — Sat, 17 Sep 2011 10:12:00 +0200

Il existe des outils open source qui permettent d'améliorer les pratiques, que ce soit pour la gestion, l'automatisation ou également les tests de performances. Voici un site qui offre un récapitulatif: opensourcetesting