La méthode des moindres carrés a été décrite pour la première fois par Adrien-Marie Legendre en 1805. Ainsi, les gens peuvent souvent croire que quelque chose est vrai, même si elle n`est pas bien représentée. Dans ce cas, les chercheurs recueilleraient des observations à la fois des fumeurs et des non-fumeurs, peut-être par une étude de cohorte, et ensuite chercher le nombre de cas de cancer du poumon dans chaque groupe. Dans une série de distribution de fréquences, nous utilisons différents intervalles de classe pour représenter la plage de valeurs des données considérées. Dans l`application des statistiques à un problème, il est pratique courante de commencer par une population ou un processus à étudier. Les mesures d`intervalles ont des distances significatives entre les mesures définies, mais la valeur zéro est arbitraire (comme dans le cas des mesures de longitude et de température en degrés Celsius ou Fahrenheit) et permet toute transformation linéaire. Les modèles statistiques précoces étaient presque toujours issus de la classe des modèles linéaires, mais des ordinateurs puissants, couplés à des algorithmes numériques adéquats, ont provoqué un intérêt accru pour les modèles non linéaires (tels que les réseaux neuronaux) ainsi que la création de nouveaux types, tels que modèles linéaires généralisés et modèles à plusieurs niveaux. En revanche, une étude observationnelle n`implique pas de manipulation expérimentale. La dernière vague, qui a surtout vu le raffinement et l`expansion des développements antérieurs, a émergé du travail collaboratif entre Egon Pearson et Jerzy Neyman dans les années 1930.

Les chercheurs étaient intéressés à déterminer si un éclairage accru augmenterait la productivité des travailleurs de la chaîne de montage. Par exemple, si le poids de 5 élèves dans une classe est exactement 65 kg, alors la fréquence de l`élément de données 65kg est 5. Les intervalles de confiance permettent aux statisticiens d`exprimer à quel point l`estimation de l`échantillon correspond à la valeur réelle de l`ensemble de la population. L`hypothèse nulle, H0, affirme que le défendeur est innocent, alors que l`hypothèse alternative, H1, affirme que le défendeur est coupable. Ils ont introduit les notions d`erreur «type II», de puissance d`un test et d`intervalles de confiance. En outre, ces séries peuvent également être présentées soit en non cumulatif, soit en cumul à partir de (inférieur ou supérieur à) ainsi que leurs fréquences respectives. Dans les deux types d`études, on observe l`effet des différences d`une variable indépendante (ou variables) sur le comportement de la variable dépendante. Idéalement, les statisticiens compilent des données sur l`ensemble de la population (une opération appelée recensement). Ceux de l`étude Hawthorne sont devenus plus productifs non pas parce que l`éclairage a été changé, mais parce qu`ils étaient observés. Les mesures nominales n`ont pas d`ordre de classement significatif entre les valeurs et permettent une transformation un-à-un.

Dans un modèle de régression linéaire aussi, la partie non déterministe du modèle est appelée terme d`erreur, perturbation ou plus simplement bruit. Une série individuelle peut être disposée soit en ordre croissant, soit en descente, soit dans toute autre commande, car elle conviendrait à l`analyse souhaitée. La meilleure illustration pour un novice est la situation difficile rencontrée par un procès criminel. En revanche, une étude observationnelle n`implique pas de manipulation expérimentale. Les premières applications de la pensée statistique tournent autour des besoins des États pour fonder la politique sur les données démographiques et économiques, d`où sa stat-étymologie. Ses fondements mathématiques ont été posés au XVIIe siècle avec le développement de la théorie des probabilités par Gerolamo Cardano, Blaise Pascal et Pierre de Fermat.