La plupart de ces phénomènes sont, certes, étudiés de longue date par d'autres sciences. Cependant, les connaissances et modèles disponibles, conçus dans d'autres buts, sont rarement directement exploitables pour la synthèse d'images animées. Par exemple, la synthèse de nuages en mouvement en vue d'une intégration à un paysage virtuel trouvera peu d'éléments exploitables dans le domaine de la météorologie, laquelle étudie le phénomène à une échelle bien plus grossière, ni dans le domaine de la mécanique des fluides, qui l'étudie à une échelle bien plus fine. De plus, la grande précision des modèles des autres sciences, généralement excessive pour notre usage, se paie par un coût de calcul très, voire trop élevé. Par exemple, simuler en des temps raisonnables le mouvement d'une longue chevelure ne pourra pas être résolu par la simple juxtaposition de solutions existantes en science des matériaux, mécanique et analyse numérique (en effet, simuler par éléments finis la dynamique et les interactions entre les 100.000 cheveux qui la composent serait en pratique prohibitif). De fait, la visualisation seule des résultats de simulation peut poser des problèmes complexes. Par exemple, visualiser en temps réel des résultats de simulation en météorologie ou en océanographie, pour des grilles de l'ordre du million de maille, avec des pas de temps très fins, est impossible avec les techniques actuelles.
D'autre part, même lorsque des techniques de simulation exploitables existent, le simple problème de la spécification d'une scène naturelle plausible est délicat en raison de la multitude de détails - similaires mais non semblables - à synthétiser. Cet aspect rend la création de ces scènes, aussi bien par un graphiste que par un programme informatique, particulièrement ardue.
Enfin, une dernière difficulté provient de l'expertise même des utilisateurs terminaux en tant qu'observateur de scènes naturelles : nous côtoyons ces scènes et objets dans notre vie de tous les jours, ce qui nous rend particulièrement sensibles à leur manque éventuel de réalisme. Les mondes virtuels à créer étant généralement destinés à tromper les sens de l'observateur plutôt qu'à simuler un phénomène donné de manière quantitative, leur validation devra passer par le souci de la comparaison au réel, voire par une incursion dans le domaine de la perception humaine, qu'il s'agisse d'évaluer la qualité de scènes statiques ou celle des mouvements calculés.
La difficulté du problème justifie l'adoption d'une approche spécifique, que nous développons dans les paragraphes qui suivent. Notons que dans certains cas, les autres sciences peuvent être amenées à bénéficier de notre démarche : la mise au point d'algorithmes visualisation ou de rendu réaliste efficaces permettent en effet de faciliter la compréhension et l'interprétation des résultats de simulation ainsi que leur communication auprès du grand public ou en vue d'une prise de décision. Nous reviendrons sur ces aspects lors de la description de nos collaborations scientifiques avec des équipes d'autres disciplines.