Heroes: Die Entwickler über das Sammeln und Verwenden von internen Daten
Wer sich für Heroes of the Storm interessiert und gelegentlich einen Blick auf die offiziellen Patchnotes zu den häufiger erscheinenden Balance Updates wirft, der wird in diesen Übersichten der Entwickler häufiger Verweise auf die von ihnen intern gesammelten Daten finden. Auch wenn diese Datensammlung öfter von den Verantwortlichen in ihren Patchnotes und Beiträgen erwähnt wird, so haben sie bisher aber nicht wirklich genau erklärt, wie der Prozess für die Sammlung abläuft und auf welche Weise das Team die durch diesen Vorgang erhaltenen Informationen zum Balancen des Spiels verwendet. Um die Spieler nun zumindest ein wenig über diesen Bereich der Spieleentwicklung zu informieren, hat sich Live Designer Adam Jackson vor Kurzem in den Foren zu Wort gemeldet und dort dann einen etwas längeren Bluepost zu diesem Thema verfasst.
In diesem Bluepost erklärte dieses Mitglied des Entwicklerteams erst einmal, dass sie im Grunde interne Daten zu allen Aspekten des Spiels sammeln. Dabei halten sie dann unter anderem fest, wie die Siegraten für einzelne Helden aussehen, wie viel Schaden oder Heilung erzeugt wird, welche Helden in welchen Spielmodi häufig verwendet werden und wie das aktuelle Meta des Spiels aussieht. Die Entwickler können diese Informationen dann auf eine Reihe von verschiedenen Weisen betrachten, Schlussfolgerungen zu der Spielqualität von Heroes of the Storm ziehen und entscheiden, welche Änderungen auf die Liveserver aufgespielt werden sollten. An dieser Stelle spielt die Erfahrung eines Entwicklers eine große Rolle, weil reine Statistiken mit Daten nicht immer unbedingt ein Bild ergeben, welches zu positiven Änderungen für das Spiel führen würde.
Wie wichtig die Erfahrungen und das Wissen der verantwortlichen Game Designer sind, betonte Live Designer Adam Jackson auch noch einmal gegen Ende seines Blueposts. Auch wenn die intern gesammelten Daten nützlich sind und eine große Hilfe für die Entwickler darstellen, so muss die verantwortliche Person aber noch immer die richtige Entscheidung für das Spiel treffen. Beim Balancen des Spiels und Anpassen der spielbaren Helden gibt es oft eine Reihe von richtigen und falschen Möglichkeiten, die aufgrund der verschiedenen Ansichten von Menschen häufig die Grundlage für Diskussionen im Team oder der Community bilden. Nicht jede andere Person wird mit den Entscheidungen beim Balancing des Spiels einverstanden sein und Game Designer müssen den Mut haben mit der Kritik an ihrer Arbeit umzugehen. Dieser Punkt ist besonders wichtig, wenn es keine klaren Lösungen gibt, die Spieler verschiedene Dinge fordern und Änderungen am Meta dringend notwendig sind. Wer sich in solch einer Situation nur an den Daten orientiert, der trifft schnell eine Reihe von sehr sonderbaren und unbeliebten Entscheidungen.
Ein gutes Beispiel für problematische interne Daten ist der Held Probius. Dieser Charakter besitzt eine verhältnismäßig extreme Siegrate und müsste daher eigentlich umfangreichen Nerfs unterzogen werden. Allerdings würde die Community sich sehr darüber aufregen, wenn die Entwickler plötzlich starke Veränderungen an diesem unscheinbar wirkenden Charakter durchführen würden. Die hohe Siegrate von Probius kommt nämlich nicht wirklich von seiner Spielstärke, sondern eher von der geringen Menge an Spielern, die diesen Helden regelmäßig einsetzen. Wer zu den wenigen Fans von Probies gehört, der kann diesen Helden in den meisten Fällen enorm gut spielen und treibt dadurch dann natürlich die Siegrate nach oben.
Dear developers & testers,
In your balance patches you often write notes that refer to internal data gathered by you when explaining a balance change or talents change. I would appreciate it if you provided an example of how the data are organized of a talent or a hero and how different categories of data are given weight to push into a change decision.
For example if we chose illidan’s “Friend or foe” talent , and I am going to assume that data is collected from all game modes, do you have a system of point allocation depending on the rating of the player ? , Is team’s composition are taken into consideration ? Or is it just simple statistics of pick & win rates over all game modes & ranks ? Your answer and example will help us to better understand how you evaluate a talent or a hero before changing something & perhaps lower the ranting rates against every balance change and lower the differences in opinions between players a bit about heroes and talents balance wise.
Thank you for your time & effort.
I’m not going to give away everything, but I can answer this question.
We get raw data on basically everything that’s happening in the game across all modes based on win/pick rate, as well as things like damage dealt/taken etc.
We are able to parse through this data to look at it through many lenses. This is where raw statistics become less useful and the skill and experience of a designer come into play more so that we can draw meaningful conclusions from the data, and decide what changes we want to make based on the results.
To get a full picture of what’s going on in the game, for example, I can and do look at things like win/loss data that’s filtered by different leagues and game modes. I can also see hero pick and ban popularity with this kind of granularity, which lets me see, for example, what the meta is looking like in the Bronze – Silver range as well as the Diamond – GM range.
While incredibly useful, I want to emphasize that it’s not just the raw data that’s important, but also having the game knowledge and experience to make correct conclusions based on the knowledge. This is something that’s a lot more esoteric, and there are often multiple right and wrong answers, which can and often does lead to a lot of debate within the design team and with the playerbase at large.
As an example, let’s say that you’re the designer and your job is to evaluate Samuro in the next balance patch with these facts (I made these up in my head right now because i’m at home, they are not what’s actually happening though there are truths in these statements):
He’s currently at a 55% win rate
He has a very low pick rate, let’s say he’s the 5th lowest pick hero in the game.
He’s considered a highly skilled but highly rewarding hero by the bulk of the community who argues that he should deserve a relatively high win rate as a reward for being hard to play. They argue that if you nerf or remove what’s unique about him, then why would anyone play a hard hero when they can pick someone like Raynor or Lili every game and just win more often?
Others feel he’s frustrating to play against and a different section of the community thinks he’s obviously way too strong and needs nerfs. They can and do show you videos of crazy things that he does that look and feel unfair.
The people that play him love the unique things he can do, like swapping to clones and tricking his opponents, which is what his entire design is based on. If you decide to change these things, the likelihood of having an extremely vocal and negative and reaction from his community is very high.
Do you make changes? If so, what do you do?
I can guarantee you not everyone will agree with your proposed changes, which is fine and normal. A large part of being a designer is having the courage to make these kinds of calls and dealing with the fallout, even if your ideas are not always perfect. Even so, there are many cases like this and there are many times where changes need to be made. That’s essentially what we spent the bulk of our time figuring out and doing.
Also as a side note, finding out community sentiment doesn’t come from data, and community sentiment is often a large part of the picture as well, so if you only rely on data to make changes, you’ll end up making a lot of weird changes that no one will agree with.
As an example, Probius has always had an extremely high win rate and statistically deserves heavy nerfs. I don’t think that’d go over too well with the community
