À Londres, il suit un entraînement pour apprendre à sauter en parachute, tirer au pistolet et se servir d'un poignard.  Misant sur l’ambition et les capacités de réseau de Jean Moulin, de Gaulle en fait son délégué civil et militaire pour la zone libre.
Il lui donne un premier ordre de mission, que "l'on ne cite jamais, celui du 4 novembre, entièrement écrit de la main du général de Gaulle, et qui est un ordre de mission d'organisation purement militaire, mission que Moulin a effectivement accomplie, en aboutissant, après onze mois, à la constitution de l'Armée secrète". 

Une Armée Secrète (AS) chaperonnée par les Forces françaises libres, complètement placées sous les ordres du Général. Mais, "pour la question militaire, […] elle est effectivement complètement occultée". 
Ensuite, par un second ordre, que "l'on cite toujours, le fameux ordre de mission de Jean Moulin du 24 décembre 1941, qui est un ordre de mission général, lui prescrivant d'accomplir l'union de tous les éléments résistant à l'ennemi", il le charge d’unifier, sur le territoire français, les trois principaux mouvements de résistance, Combat, dirigé par Henri Frenay, Franc-Tireur, et Libération-Sud, ainsi que tous leurs différents services : service ROP (recrutement, organisation, propagande), renseignements, sabotage, entraide. 

Muni de ces deux ordres de mission, de moyens financiers et de communication radio directe avec le général de Gaulle à Londres, il est parachuté, dans la nuit du 1er au 2 janvier 1942, en compagnie de Raymond Fassin et Hervé Monjaret, au cours d'une opération blind (jargon de la RAF : "sans équipe de réception"), dans les Alpilles, à une dizaine de kilomètres au Sud de Saint-Rémy-de-Provence, à 15 km de Saint-Andiol. Il passe la nuit du 2 au 3 janvier 1942 dans le refuge acquis à Eygalières puis rejoint Saint-Andiol à pied. 

Dans la Résistance, il prend le pseudonyme évocateur de Rex.  Pour accomplir sa mission, Jean Moulin rencontre, entre autres, Henri Frenay, à Marseille, et Raymond Aubrac, à Lyon.

Il est aidé dans sa tâche par Daniel Cordier, qui s'occupe de la logistique, et par Colette Pons. 


Dès septembre 1942, en zone sud, en région R1, sous l'autorité du général Charles Delestraint, débute la constitution de l'Armée secrète par le versement à l'AS des formations paramilitaires (d'importance très inégale) des trois grands mouvements de résistance. 


Dans cette tâche, éminemment clandestine, le général Delestraint
— choisi, d'un commun accord, par les mouvements de résistance et par le général de Gaulle pour diriger leurs actions militaires (uniquement), sous l'ordre direct de ce dernier — est secondé par les chefs AS secrètement désignés, le régional et les chefs départementaux.
Deux mois après, le 27 novembre 1942, est créé le Comité de coordination de la zone sud, à Collonges-au-Mont-d'Or (en banlieue lyonnaise), dans le but de coordonner, avec la mouvance communiste, les trois mouvements principaux de résistance de la zone libre ; ce regroupement donne ensuite naissance, le 26 janvier 1943, aux Mouvements unis de la Résistance (MUR) — membre du directoire et secrétaire général : Pierre Dumas —, lors d’une réunion au domicile d’Henri Deschamps, à Miribel42 (dans l'Ain). 
Dans cette nouvelle unification, Jean Moulin cherche, non sans mal, à contenir les velléités de commandement d’Henri Frenay, chef du mouvement Combat, d’Emmanuel d’Astier de la Vigerie, chef de Libération-Sud, et de Jean-Pierre Lévy, chef de Franc-Tireur.

Il utilise ensuite ses dons artistiques pour se créer une couverture de marchand de tableaux et ouvre la galerie d’art "Romanin" son pseudonyme d’artiste, au 22, rue de France, à Nice. 
Dans la nuit du 13 au 14 février 1943, il retourne rendre compte de sa mission à Londres, accompagné du général Delestraint, organisateur et chef de l’Armée secrète. Au cours de la nuit, ils doivent quitter précipitamment la maison Deschamps, à Miribel, pour aller embarquer dans le Jura, à Villevieux (au nord de Lons-le-Saunier), à bord de Lysander. 

Toutefois, si les mouvements de résistance ont accepté l'unification des mouvements pour améliorer leur efficacité, ainsi que leur financement, leurs chefs n'acceptent que difficilement la tutelle militaire de Londres pour l'AS : Henri Frenay, en particulier, souhaite garder le contrôle de la résistance militaire intérieure et mène une violente campagne contre le général Delestraint, dont il refuse de reconnaître l'autorité à la tête de l'Armée secrète. 
Création du Conseil national de la Résistance

Le 14 février 1943, Jean Moulin va à Londres rendre compte de sa mission à Charles de Gaulle, qui le décore de la croix de la Libération et le nomme secrètement ministre, membre du Comité national français, et seul représentant de ce comité pour l'ensemble du territoire métropolitain. 
Le 20 mars 1943, il revient en France, avec le chef national de l'AS, en atterrissant de nuit en Saône-et-Loire, à Melay (au nord de Roanne), chargé de créer le Conseil national de la Résistance (CNR), tâche complexe, car il est toujours peu reconnu par les mouvements de résistance.
En particulier, le responsable de la zone Nord, Pierre Brossolette, suscite bien des difficultés. Cependant, les sujets de discorde sont résolus, et la première réunion du CNR, en séance plénière, se tient à Paris, 48, rue du Four, le 27 mai 1943.  Jean Moulin parvient à se faire admettre comme chef du CNR, qui réunit les dirigeants de tous les groupes de la résistance française. Le CNR représente alors l'unité des Forces résistantes françaises aux yeux des Alliés et l'embryon d'une assemblée politique représentative.

Le CNR reconnaît en de Gaulle le chef légitime du gouvernement provisoire français, et souhaite que le général Giraud prenne le commandement de l'armée française. 

Moulin participe, avec le mouvement Franc-Tireur, à la création du maquis du Vercors, contesté par les hommes de Combat.

Après un séjour à Paris, il s'installe dans sa maison familiale de Saint-Andiol (Bouches-du-Rhône) d'où, pressé par le besoin de "faire quelque chose", il s'impose deux buts : d’abord se rendre compte de l’ampleur de la Résistance française, puis aller à Londres afin d’engager les pourparlers avec la France libre.

Il se met alors à la rédaction de son journal, Premier combat, où il relate sa résistance contre les nazis à Chartres de manière sobre et extrêmement détaillée ; ce journal sera publié à la Libération et préfacé par le général de Gaulle.
Il possède une fausse carte d'identité au nom de Joseph Mercier (prénom hommage à son frère décédé), professeur de droit.
Il s'installe à Marseille, à l’Hôtel Moderne et rencontre, dans plusieurs villes du Midi, des résistants parmi lesquels Henri Frenay,


le chef du mouvement de Libération nationale, ainsi qu'Antoinette Sachs qui lui facilite les contacts. 
Après avoir réussi à obtenir un visa et un faux passeport, le 9 septembre 1941, il rejoint Londres en passant par l’Espagne et le Portugal, par ses propres moyens, sous le nom de Joseph Jean Mercier. Le 25 octobre, il est reçu par le général de Gaulle, qui l'impressionne vivement et en qui il reconnaît "un très grand bonhomme.

Grand de toutes façons".
Il lui fait un compte-rendu (qui sera controversé) de l’état de la Résistance en France et de ses besoins, notamment financiers et en armement.  Son compte-rendu donnera lieu à de nombreuses contestations de la part des mouvements de résistance intérieure, comme étant tendancieux, avec des visées personnelles, tout en perturbant les actions de renseignements au profit de l’armée britannique et le système, en contrepartie de financement et de fourniture d’armes au profit de chacun d'entre eux.