Beta-Test

From SignalWiki
Jump to: navigation, search

An dieser Seite wird noch gearbeitet. Die Inhalte sind noch unter Vorbehalt!

Bevor neue Simulationen auf den Markt kommen, oder größere Änderungen veröffentlicht werden führen wir in Zusammenarbeit mit ehrenamtlichen Helfern eine Beta-Test durch. Prinzipiell läuft die Produktion und der Anschließende Beta-Test immer nach dem gleichen Schema ab. Zur Zeit haben wir genügend Beta-Tester, sodass wir darum bitten von entsprechenden Anfragen abzusehen. Falls wir weitere Beta-Tester benötigen, werden wir das rechtzeitig im Forum bekannt geben. Der Beta-Test läuft grundsätzlich in enger Verknüpfung mit unserem Butrackingsystem (BTS). So werden die Testaufträge (siehe unten) per BTS zugeteilt, und alle Fehlermeldungen sollen ebenfalls im BTS erfasst werden. Grundsätzlich wird für jeden Beta-Test einzeln festgelegt welche Tests erforderlich sind. Dies hängt z.B. von der Größe des Stellwerks und den vorhandenen Elemeten (Nummernstellpult, Dateniengabetastatur, etc.) ab. Der Beta-Test wird üblicherweise in 3 Phasen eingeteilt. Innerhalb der Phasen werden verschiedene Testaufgaben vom Koordinator an die Tester verteilt. Teilweise bekommen mehrere Tester die gleiche Aufgabe. Es kommt schonmal vor das gleichzeitig Tests aus verschiednen Phasen gleichzeitig laufen.

Produktion einer neuen Sim

  • Daten und Informationen sammeln
  • Stelltisch bzw. -wand zusammenbauen
  • Dateneingabe (Gleislänge, Bezeichnungen etc.)
  • Erste lauffähige Alpha-Version (Nur für Ersteller)
  • Fahrplaninformationen sammeln
  • Fahrplaneingabe
  • Erste Beta-Version
  • Festlegung des Beta-Tests mit Chef, Ersteller und Test-Koordinator
  • Beta-Release an alle oder nur an einige Tester (je nach Erfordernis)
  • Behebung der Bugs soweit möglich
  • Entscheidung zum Ende des Beta-Tests und festlegung des Releasetermins mit Chef, Ersteller und Test-Koordinator
  • Release der Verkaufsversion




Beta-Test Phase 1

In Phase eins werden nur Tests ohne tatsächliche Zugfahrten durchgeführt. Dazu schaltet man am besten die Züge ab.

Zugfahrstraßen testen

Es müssen alle Zugfahrstraßen sowohl mit der Maus (Tastenbedienung) als auch ggfs. mit dem Nummernstellpult (NStP) oder Dateneingabetatstatur (DET) getestet werden. Zum Testen mit der Maus reicht es in der Regel aus, wenn an der Zieltaste der lila Ring blinkt. Am NStP bzw der DET muss die Fahrstraße natürlich eingestellt, und danach wieder aufgelöst werden. Wenn eine Fst. mit der Maus nicht geht (Ziel blinkt nicht) dann ist es auch zu 99% nicht mit der Tastatur möglich. Bei großen Stellwerken kann der Test in verschiedene Bereiche aufgeteilt werden.

Es soll besonders auf "Wannenfahrten" und unlogische/unzulässige (z.B. überlange) Fahrstraßen geachtet werden. Auch auf ggfs. vorhandene Mittelweichen ist besonders zu achten. Flankenschutz, Flankenschutzraum werden zwar automatisch berechnet jedoch sollten mit beachtet werden. Der Flankenschutzumkehr wird manuell eingegeben und sollte besonders beachtet werden. Auch die Zugstrassen die NICHT zulässig sind können einfach gefunden werden. (Z.B. vom Einfahrsignal bis zum Ausfahrgleis auf der Strecke wobei an Gleise mit "nur Rangiersignale" vorbeigefahren wird. Hier müssen wir die Ausschlüsse manuell bearbeitet. (Spurplangruppe wird einzeln programmiert)

  • Hat eine Zugstrasse unerwartet kein Durchrutschweg, kann es sein das in der Infrastruktur noch eine Geschwindigkeit auf 30 km/h gesetzt ist.
  • Es ist bei einer zugelassene Geschwindigkeit am Startsignal von

<= 30 km/h ist kein D-Weg vorhanden

> 30 und <= 40 km/h = 50m D-Weg

> 40 und <= 60 km/h = 100m D-Weg

> 60 km/h = 200m D-Weg

notwendig.

  • Wie immer bei Standards: Ausnahmen bestätigen der Regel. Es gibt sehr verschiedene Gründe warum ein D-Weg anders oder nicht vorhanden ist. Dies weiss meistens nur der Stellwerksersteller...

Wenn die Fahrstraße eingelaufen ist, bitte auch auf die korrekte Funktion der Vorsignale achten.

Rangierfahrstraßen testen

Alle Rangierfahrstraßen müssen mit der Maus und über das NStP bzw DET getestet werden. Zum Testen mit der Maus reicht es in der Regel aus, wenn an der Zieltaste der lila Ring blinkt. Am NStP bzw der DET muss die Fahrstraße natürlich eingestellt, und danach wieder aufgelöst werden. Wenn eine Fst. mit der Maus nicht geht (Ziel blinkt nicht) dann ist es auch zu 99% nicht mit der Tastatur möglich. Bei großen Stellwerken kann der Test in verschiedene Bereiche aufgeteilt werden. Es soll besonders auf "Wannenfahrten" und unlogische/unzulässige Fahrstraßen geachtet werden.

Zughilfsfahrstraßen testen

Hier müssen sowohl mit Maus, als auch über NStP bzw. DET alle möglichen Zughilfsfahrstraßen getestet werden. Zum Testen mit der Maus reicht es in der Regel aus, wenn an der Zieltaste der lila Ring blinkt. Am NStP bzw der DET muss die Fahrstraße natürlich eingestellt, und danach wieder aufgelöst werden. Wenn eine Fst. mit der Maus nicht geht (Ziel blinkt nicht) dann ist es auch zu 99% nicht mit der Tastatur möglich. Bei großen Stellwerken kann der Test in verschiedene Bereiche aufgeteilt werden. Es ist unbedingt darauf zu achten, dass das Startsignal keine Fahrtstellung zeigen darf! Es soll besonders auf "Wannenfahrten" und unlogische/unzulässige Fahrstraßen geachtet werden.

D-Wege prüfen

Alle D-Wege müssen auf Plausibilität und Funktion getestet werden. Auch die abweichenden D-Wege. Dazu müssen die Fahrstraßen mit den jeweiligen Zielen eingestellt werden (egal ob mit der Maus oder Tastatur) und dann inkl. D-Weg wieder aufgelöst werden.

Labels und Texte überprüfen

Hierbei ist es wichtig alle Labels auf Tippfehler hin zu untersuchen. Außerdem sind Labels zu melden bei denen vergessen wurde den richtigen Text einzutragen ( vor allem EXT..) Labels an Signale und Weichen werden normalerweise automatisch vergeben. Zieltasten und Gleisbezeichner ist immer manuelle Arbeit.

Beta-Test Phase 2

In Phase zwei kommt nun endlich der Zugverkehr ins Rollen. Damit sich etwas bewegt wird ein behelfsweiser Fahrplan erstellt, aus dem an allen Spawnpunkten Züge abgerufen werden können. Damit der Zug dann kommt wenn man ihn braucht klickt man im Fahrplan mit der rechten Maustaste auf den Zug und wählt "Erscheinen erzwingen". Der Zug wird dann sobald als Möglich gespawnt. Da der Zug sich aber an den Fahrplan hält, bleibt er ggfs. am Bahnsteig stehen, bis seine Abfahrtszeit erreicht ist. Möchte man den Zug zur sofortigen Weiterfahrt überreden, wählt man im Menü (rechte Maustaste auf Zug) "Bewege Zug" aus. Dieser Menüpunkt ist nur dann anklickbar, wenn alle weiteren Voraussetzungen erfüllt sind (Signal auf Fahrt, Lokführer an Bord etc)

Selbststellbetrieb prüfen

Auf den Stellwerken können verschiedene Arten von Selbststellbetrieb (SB) verbaut sein. Diese sind auf Funktion zu prüfen.

Es gibt:

  • SB-F der angestossen wird bei Fahrstrasseneinstellung (In der Regel bei Ausfahrsignale)
  • SB-S der angestossen wird durch Fahrzeugbewegung (Gleisschaltmittel oder ZN-Sprung) (In der Regel bei Ausfahrsignale)
  • SB-Z gesteuert durch Zuglenkrechner. Jeder Zug ist dort einzeln programmiert in einer EPROM
  • Automatik-SB (KK, KK2012, ASD): hierfür gibt es ein spezielles Testverfahren.

SB Signale können beim Start standard "aus-" oder "eingeschaltet" sein.

Bedenke, dass die Einstellungen "aus" oder "ein" im Rechner gespeichert werden. Ggf. zum Testen muss der Arbeitsplatz wiederhergestellt werden.

SB-F: Ist selten dass es schief geht bei der Dateneingabe.

SB-S: Der meist vorkommende Fehler ist dass es zu spät schaltet.

SB-Z: hier kann es bei jeden individuellen Zug falsch gehen wenn die Dateneingabe falsch ist... Wie auch eigentlich in der Realitaet... ;-)

D-Weg auflösung

Es muss geprüft werden ob die D-Wege korrekt aufgelöst werden. (Je nach Stellwerksverion)

Geschwindigkeitsprüfung

Hierbei soll die Plausibilität der Geschwindigkeit überprüft werden. Dazu soll immer ein Zug losgeschickt werden, und mittels des Geschwindigkeitsanzeigers auf evtl. VMax-Schwankungen geachtet werden. Diese entstehen z.B. durch versehentlich falsche Dateningabe (Tippfehler o.ä.)

Beta-Test Phase 3

Für die Phase drei wird der Fahrplan aktualisiert auf einen tatsächlichen Fahrplan.

Fahrplan prüfen

Hierbei werden den einzelnen Testern verschiedene Zeitabschnitte zugeteilt, die auf eventuelle Fehler im Fahrplan geprüft werden sollen. Hier soll zur Zeiteinsparung die Simulationsgeschwindigkeit erhöht werden.

Allgemeiner Verkehr

In diesem Abschnitt wird von den Testern dern "normale Betrieb" getestet, wobei hier besonders verscht werden soll Fehler zu provozieren. (Unzulässige Fahrstraßen, Hilfsauflösung etc)

Beta-Test Phase 4

Wenn für die Simulation Multiplayer oder Streckenverbindung verfügbar sein soll werden diese Bereiche erst getestet wenn die Sim alleine stabil und möglichst fehlerfrei läuft

Multiplayertest

Es wird getestet ob die Zusammenarbeit im Multiplayer funktioniert

Streckenverbindung

Die Verbindung zu den Nachbarstellwerken wird geprüft

Bug-Tracking-System (BTS)

Kern des Beta-Tests ist neben der zu testenden Sim das BTS. Es ist online zu erreichen. Wichtige Informationen zum BTS findet mann hier Der Ablauf des Beta-Tests im BTS wird hier beschrieben:

Beta-Test beginnt

Die Beta-Tester werden im Bereich der entsprechenden Sim vom Test-Koordinator (TK) zum "Tester" ernannt.

Testauftrag zugewiesen

Der TK weist den Testern jeweils einen Test-Auftrag zu. Das BTS verschickt dann automatisch eine Informationsmail.

Testauftrag angenommen

Wenn der Tester den Auftrag gelesen hat, und bevor er mit dem Test beginnt, stellt er den Status der Meldung auf "anerkannt". Ein weiterer Eintrag in das Textfeld ist nicht erorderlich. Durch die Statusänderung kann der TK erkennen dass der Auftrag angenommen wurde.

Rückfragen zum Testauftrag

Rückfragen zum Auftrag sind innerhalb des Auftrages zu stellen. Dazu den Status der Meldung auf "Rückmeldung" stellen und die Frage in dem sich öffnenden Textfeld stellen. Wenn der TK die Frage Beantwortet hat steht der Status wieder auf "zugewiesen". Dann bitte wieder mit "anerkannt" quittieren.

Testauftrag ablehnen

Falls aus irgendeinem Grund der Testauftrag nicht, oder nicht zeitnah, ausgeführt werden kann, bitte unbedingt den Status auf "Rückmeldung" stellen und kurz schreiben was los ist. Der TK wird dann die Aufgabe entsprechend umverteilen. Sollte der Grund für die Ablehnung nicht "öffentlich" sein, kann man dem TK auch gerne unter der bekannten E-Mail Adresse eine Mail mit der Begründung schreiben. Aber trotzdem bitte den Status auf Rückmeldung stellen!

Fehler gefunden

Wenn ein Fehler gefunden wurde wird bitte für jeden Fehler ein einzelner BTS-Eintrag erstellt. Diesen bitte nicht irgendjemandem zuweisen, sondern einfach auf Status "neu" stehen lassen. Der Fehler wird dann vom TK gesichtet und dem jeweiligen Zuständigen zugeteilt. Bitte eine passende Kategorie auswählen (meist Sp Dr S60 Stellwerke oder Fahrplan) bitte nicht "Beta-Test" auswählen!

Fehler Einstufung

  • Blocker: ist hauptsächlich für den Stellwerkseditoren und Fahrplanersteller wenn sie nichts mehr machen koennen um weiter zu arbeiten. Ein Blocker ist auch wenn an einer Stelle ALLE zuege nicht mehr weiter wollen.
  • Absturz: jede Exception oder Freeze ist ein "Absturz".
  • Schwerer Fehler: Signale die auf grün bleiben, Signale die nicht in Fahrtstellung kommen, Zuege die nicht koppeln wollen. Also sehr nervige oder falsche Sachen die absolut nicht sein sollten.
  • Kleinere Fehler: Zustaende die nicht sein sollten, aber wo man drumherum gehen kann
  • Unschönheit: Grafikfehler
  • Fehler im Text: alles hollaendische was sich in der Deutsche Text hereingeschlichen hat...
  • Trivial: moechte-gerne Aenderungen
  • Feature-Wunsch: Alle Wuensche bitte hier aeussern

Priorität

  • Sofort: selten zu verwenden, aber notwendig wenn es wirklich kneift.
  • Dringend: wenn frustration droht...
  • Hoch: sollte im Release verholfen sein
  • Niedrig: es gibt einen workaround, aber ist nicht wie es sein sollte
  • keine: der normale zustand...

Testauftrag abgeschlossen

Wenn der jeweilige Testauftrag beendet wurde, bitte den entsprechenden Auftrag auf erledigt stellen. Ein ergänzender Text ist nicht zwingend erforderlich. Es kann notwendig sein das der TK einen neuen Testauftrag zuweist. Dies geschieht aber unter einem neuen BTS-Eintrag.

Beta-Test beendet

Wenn der Beta-Test beendet ist, wird der TK alle "Tester" aus dem Projekt "entlassen" sodass sie dann wieder den Rang "Reporter" haben.

Begriffserklärung

Wannenfahrt

Wannenfahrt1.png

Eine Wannenfahrt gibt es vor allem an Stellen wo zwischen zwei Lichtsperrsignale bei einer Rangierstrasse es eine direkte Möglichkeit gibt und eine Fahrstraße über ein anderes Lichtsperrsignal. In der Realitaet ist dies auch ein Problem und muss gesondert programmiert werden. Wenn dies nicht gemacht wird, muss der Stellwerksbediener tatsächlich die Fahrstraße in zwei Teile einstellen.

Der im Beispiel hier oben ist tatsaechlich falsch und gibt es wenn "diagonale" Weichen im Diagonal als "Normallage" gesehen werden. Dies muss dann vom Stellwerksersteller berichtigt werden.