• un test unitaire permet de tester le code, un test système les fonctionnalités offertes.
• un test unitaire se fait  sur un environnement “mocké” généralement et un test système sur un environnement proche de la production.

Ceci étant dit quelqu’un me demande et pourquoi ne pas investir principalement sur les tests systèmes plutôt que de développer pléthore de tests unitaires qui prennent du temps. L’idée proposée n’est pas de supprimer les tests unitaires mais de les limiter …Voici ma réponse:

1. l’absence de tests unitaires pénalise les activités de tests d’intégration et de tests systèmes. Le testeur passera son temps à “debugger”, faire des aller retours avec le développeur, faire générer des versions plus adéquates et le temps perdu grèvera les tests systèmes de haut niveau (cas d’utilisation, robustesse, scénario complexe). Le “debug” de code est plus rapide lors des tests unitaires en phase de développement. Pour un cycle en V, on court à la catastrophe car le volume de code livré à la validation transformera la phase des tests systèmes en un parcours du combattant pour debugger et mettre au point l’application. De plus les testeurs seront démotivés et fatigués.
2. Une couverture de code élevée permet d’améliorer la stabilité et la maturité du logiciel. En effet il est illusoire de penser que le test d’endurance ou de robustesse à lui seul va garantir ces caractéristiques. La combinatoire est souvent trop importante pour espérer être exhaustif dans ce domaine. Mais un code testé unitairement permet de contrôler par exemple les exceptions, toutes les branches etc. et donc moins de mauvaises surprises.
3. Les tests unitaires permettent également de modifier le code de façon sereine en particulier lors de correction d’anomalies et lors la maintenance corrective et évolutive.

Il arrive que pour des raisons économiques ces environnements soient communs. C’est un mauvais calcul à court terme et une perte de temps assurée.D’un point de vue pratique il est difficile de partager l’environnement et la gestion de l’accès aux ressources risque de créer des tensions. Si la plateforme est utilisée par différentes personnes en même temps,  l’analyse des problèmes, l’interprétation des logs risquent d’être complexes. Il faudra également s’entendre sur les données de tests. Pendant les phases de test on est souvent amené à redémarrer une plateforme de test. A plusieurs il faut se synchroniser. Bref l’exécution des tests va être laborieuse. Après avoir travaillé pendant quelques mois dans ces conditions j’ai fini par réclamé une machine par testeur pour que chacun puisse travailler de façon indépendante. Ce fût sans conteste un gain de temps inestimable.

D’un point de vue “éthique” exécuter les tests systèmes sur une plateforme de développement est peu recommandé. J’ai constaté que ces plateformes étaient patchées, contenaient des mocks et la base de données pas toujours cohérentes. Dans ces conditions les résultats de tests menés par la validation ne sont pas fiables. Il faut donc un environnement “propre”:

• installation de l’application en suivant les directives du manuel d’installation que l’on valide par la même occasion;
• approvisionnement de la base par des procédés valides (éviter les requêtes SQL directes qui peuvent mener à des bases incohérentes).

Vous découvrirez certainement des anomalies qui amèneront cette réflexion habituelle du développeur:

“Et pourtant çà marche chez moi!”,

preuve irréfutable que les environnement de test et de développement sont différents.

Vous y trouverez des explications sur les différentes attaques mais également de quoi vous exercez: une application web à installer webgoat, comportant un certain nombre de trous de sécurité et également webscarab un proxy qui vous permettra d’espionner les trames http mais également de les intercepter pour les modifier.

Ces applications seront utiles pour sensibiliser les intervenants à un projet sur les problématiques de sécurité … Rien ne vaut une bonne démonstration!

Faites un tour sur le forum:le forum des testeurs

Descriptif du numéro:

• Using WatiN to Leverage Common Elements in Web Testing
• Five Symptoms of Mechanical Agile
• Writing Testable Code
• Model-Based Testing Adds Value
• Tool: Sonar
• Tool: Express - Agile Project Management
• Tool: Apache JMeter

Bonne lecture.

Voici un utilitaire qui vous renseignera en un clin d’œil:

Des informations plus précises sont disponibles après sélection sur l’onglet de gauche.

Lien pour télécharger (Attention c’est une version beta) : à suivre.
Speccy

Alors à vos CVs!
Software Testing Europe

Vous trouverez la description de l’interface à cette adresse:
TestlinkXMLRPCServer

La mise à jour se fait grâce à la fonction suivante en python:

result = client.reportTCResult(TestID, TestPlanID, “p”)

fonction définie de la façon suivante:

def reportTCResult(self, testcaseid, testplanid, status):
data = {”devKey”:self.devKey, “testcaseid”:testcaseid, “testplanid”:testplanid,”status”:status}
return self.server.tl.reportTCResult(data)

Correspondant à coté testlink:

mixed reportTCResult( struct $args, string $args["devKey"], int $args["testcaseid"], int $args["testplanid"], string $args["status"], int $args["buildid"], string $args["notes"], bool $args["guess"]  )

Parameters:

API Tags:

Premier paramètre DevKey: cette clef permet de s’authentifier dans testlink, chaque développeur ou testeur à sa clef qu’il peut générer grâce à un menu: generate DevKey que l’on trouve dans l’ongle personal(gestion de ses données personnelles).

Par défaut ce menu n’est pas présent. Il faut modifier la configuration du serveur testlink pour avoir ce menu.  Il faut modifier le fichier custom_config.inc.php (sous testlink) qui va surcharger les valeur par défaut du fichier config.inc.php:

$tlCfg->api->enabled  = TRUE;
2ème paramètre:  TesCaseId: il s’agit d’un identifiant interne du cas de test. Il est extrair grâce à la fonction python:

def getTestCaseIDByName (self, testcasename):
data = {”devKey”:self.devKey, “testcasename”:testcasename}
return self.server.tl.getTestCaseIDByName(data)

dont l’équivalent côté php est:

getTestCaseIDByName  [line 1540]

mixed getTestCaseIDByName( struct $args, string $args["devKey"], string $args["testcasename"], string $args["testsuitename"]  )

Find a test case by its name

Searching is case sensitive. The test case will only be returned if there is a definite match. If possible also pass the string for the test suite name. No results will be returned if there are test cases with the same name that match the criteria provided.

Parameters:

API Tags:

Pour simplifier je n’ai pas pris en compte le paramètre testsuitename.

3ème paramètre: Le test plan Id soit l’identifiant interne du plan de test dont on peut récupérer la valeur grâce à la fonction suivante:

def getProjectTestPlans(self, testprojectid):
data = {”devKey”:self.devKey, “testprojectid”:testprojectid}
return self.server.tl.getProjectTestPlans(data)
qui correspond coté testlink à:

getProjectTestPlans  [line 1329]

mixed getProjectTestPlans( struct $args, string $args["devKey"], int $args["testprojectid"]  )

Gets a list of test plans within a project

Parameters:

API Tags:

4ème paramètre: le statut du test, içi il est à “p” comme passed.

les paramètres suivants sont optionnels, pour simplifier je ne les ai pas préciser, néanmoins il faut modifier le paramètre

const   BUILD_GUESS_DEFAULT_MODE=ON; (fichier xmlrpc.php)

qui signifie que par défaut on utilise  le dernier build par défaut.  Il peut y avoir plusieurs builds dans un même plan de test.

Des exemples plus complets existent pour le langage php sous \testlink\lib\api\sample_clients\php.

Ci-joint le lien vers la demo:

demo testlink 1.7

Bonne visite!