1929 starb Mandyczewski, und es war vielleicht dieses Ereignis, in Verbindung mit dem Erfolg seiner Werke in Deutschland, das ihn dazu brachte, sich für die Direktorenstelle der Mainzer Musikhochschule zu bewerben. Wie er sich in seinem Bewerbungsschreiben ausdrückte: 'Meine Werke sind in deutschen Verlagen erschienen und so ziemlich in sämtlichen deutschen Städten zur Aufführung gelangt; ich glaube also im Sinne meines ganzen bisherigen Wirkens, im Deutschen Reiche nicht als Ausländer zu gelten.' Er war einer von 120 Bewerbern, aber er hatte gewichtige Befürworter, darunter Wilhelm Furtwängler, der damals Dirigent der Berliner Philharmoniker war, Fritz Busch, Dirigent und Direktor der Dresdner Oper, und die Direktoren der Breslauer und der Frankfurter Opern. Es ist auch möglich, daß Richard Strauss dabei seinen Einfluss im Interesse Gáls ausübte. Nach sorgfältigem Auswahlverfahren wurde Gál einstimmig von der Kommission und dem Stadtrat zur Direktorenstelle ernannt, die er am 3. Dezember 1929 antrat. Seine Familie folgte ihm im März 1930 dorthin, und sie ließen sich in einem prachtvollen Jugendstilhaus mit Aussicht auf den Rhein nieder.

"Der Blick auf den Rhein und der lebendige Verkehr dort, den hab' ich immer wunderschön gefunden. Wir hatten ein Fenster auf den Rhein 'raus, das rund war, so im Jugendstil und das ein hässliches Wegzeichen in Mainz sozusagen war. Aber 'raussehen aus diesem runden Fenster war wunderbar."

Die Stelle war sicher kein Ruheposten; das Konservatorium hatte an die tausend Studenten und 70 Lehrer, und Gál setzte sich bei den Veranstaltungen voll ein. Er leitete selber die Chöre und Orchester, dazu die Dirigentenklasse und die Kontrapunkt-, Harmonie- und Kompositionskurse, und hatte immer noch ein paar Klavierschüler. Seine Ziele für das Konservatorium stellte er in einem Zeitungsartikel dar, der schon ein paar Wochen nach seiner Berufung in der Lokalpresse erschien:

"Auch der zur Musik Prädisponierte muß sozosagen erst zu einem höheren, intensiveren, dem eigentlich künstlerischen Musikempfinden, als Musizierender wie als Hörender, geweckt werden. . . . Und eben diese Fähigkeit des produktiven Hörens und Miterlebens, die ich künstlerische Aufnahmefähigkeit nennen möchte, ist, wie ein jeder aufmerksame Beobachter wird konstatieren können, heute bedenklich im Abstieg, trotz aller in die Breite getragenen Bildungsbestrebungen. Woran es in dieser Beziehung meist fehlt, ist, kurz ausgedrückt, die Fähigkeit des Lehrers, das musikalische Kunstwerk, das er dem Schüler vermitteln soll, diesem wirklich lebendig zu machen. . . . Echte Begeisterung, wahre Freude an der Musik geht eben bloß vom Meisterwerk aus, niemals von Wert- oder Belanglosem, das niemand auf die Dauer befriedigen kann. Darum ist schlechte Musikliteratur viel, viel schädlicher, als man gemeiniglich annimmt, sie verdirbt nicht bloß den Geschmack, sondern schädigt indirekt die Lust zur Musik. . . . Künstlerisches Empfinden, damit Musikenthusiasmus, lernt man . . . nur an den Meisterwerken der Großen; und der beste Weg, der dazu führt, ist naturgemäß das praktische Musizieren." [ Mainzer Anzeiger, 31.12.1929 ]

Um diese Ziele zu erreichen, berief Gál noch einige Musiker nach Mainz, darunter die Wiener Pianistin Louise Wandel. Darüber hinaus gründete er einen Frauenchor und ein Madrigal-Ensemble - man nannte ihn bald 'Hans Madri-Gál'.

Otto Schmidtgen, ein damaliger Student - und viel später Nachfolger als Direktor der Musikhochschule, der sich sehr für seine Musik engagierte - hat ein lebhaftes Porträt vom Unterricht Gáls gegeben:

"Der Unterricht bei Gál war äußerst instruktiv, getragen von umfassendem Wissen und einer außerordentlichen Literaturkenntnis, die mich noch heute immer wieder in Staunen versetzt. Ein von so hoher Warte gestalteter Unterricht lässt sich kaum in einem 'Lehrplan' einordnen. . . . Dabei war niemals nur von dem gerade besprochenen Werk die Rede, der Horizont war sehr weit gezogen, so dass z. B. bei der Besprechung des 'Rosenkavaliers' plötzlich Probleme erörtert wurden, die sich mit Bach und Mozart befassten. Der Unterricht hatte überhaupt so gar nichts Schulmeisterliches, trug mehr den Charakter einer freundschaftlichen Aussprache. . . . Alle spürten, daß er eine Persönlichkeit von ganz besonderer Prägung und allen anderen turmhoch überlegen war." [Waldstein, op. cit., s. 91-2]

Charakteristisch für Gál war auch die Tatsache, dass keiner von seinen Studenten je eines von seinen eigenen Werken studieren durfte, und kein Werk von ihm wurde am Konservatorium gespielt. Bei Konzerten in der Stadt Mainz war es selbstverständlich anders. Seine Werke wurden dort mit großem Erfolg aufgeführt.

Hanna Gál meinte, dass der äußerst intensive Arbeitseinsatz Gál eine Möglichkeit gäbe, den Verlust seines Freunds und Mentors zu verkraften. Wie sie es ausdrückte:

"Die anregende und sehr anstrengende Arbeit in Mainz half ihm über den Verlust hinweg. In Wien wäre es schrecklich gewesen! Ohne Mandy im Archiv der Gesellschaft der Musikfreunde, ohne Mandy in der Direktionsloge der Gesellschaft der Musikfreunde im Musikvereinssaal, ohne Mandy, der mehr wusste als das beste Lexikon, ohne Mandy, den guten, weisen Freund und berater!" [Privatbrief, Oktober, 1989.]