Описова статистика
Описо́ві стати́стики (в сенсі злічуваного іменника англ. descriptive statistic в однині) — це зведені статистики, які кількісно описують або узагальнюють ознаки сукупності інформації, в той час як опис́ова стати́стика в сенсі незлічуваного іменника (англ. descriptive statistics) — це процес використання та аналізу цих статистик. Описова статистика відрізняється від висновувальної статистики (англ. inferential statistics, або індуктивної статистики, англ. inductive statistics) тим, що описова статистика має на меті узагальнювання вибірки, а не використання цих даних, щоб дізнатися щось про генеральну сукупність, яку, як вважають, ця вибірка даних представляє.
Індуктивна статистика
Статисти́чне висно́вування (англ. statistical inference) — це процес використання аналізу даних для встановлення властивостей розподілу ймовірності, що лежить в їх основі. Висновувальний статистичний аналіз робить висновки про властивості генеральної сукупності, наприклад, шляхом перевіряння гіпотез та отримування оцінок. Він виходить з припущення, що спостережувані дані є вибіркою з більшої сукупності. Індуктивну статистику можливо протиставляти описовій статистиці. Описова статистика цікавиться виключно властивостями спостережуваних даних, і не спирається на припущення, що ці дані походять із більшої сукупності.
Розгляньмо тепер функцію невідомого параметра: статистична оцінка (англ. estimator) — це статистика, яку використовують для оцінювання цієї функції. До широко вживаних статистичних оцінок належать вибіркове середнє, незміщена дисперсія вибірки та коваріація вибірки[en]. Випадкову змінну, що є функцією випадкової вибірки та невідомого параметру, але чий розподіл імовірності не залежить від невідомого параметру, називають центральною величиною[en] (англ. pivotal quantity, pivot). До широко вживаних центральних величин належать z-оцінка, статистика хі-квадрат та t-величина Стьюдента.
Серед двох оцінок заданого параметру ефективнішою вважають ту, що має нижчу середньоквадратичну похибку. Крім того, оцінку називають незміщеною (англ. unbiased), якщо її математичне сподівання дорівнює істинному значенню оцінюваного невідомого параметра, й асимптотично незміщеною, якщо її математичне сподівання збігається до границі істинного значення такого параметра. До інших бажаних властивостей статистичних оцінок належать: рівномірно незміщені оцінки з мінімальною дисперсією (англ. UMVUE), що мають найнижчу дисперсію для всіх можливих значень оцінюваного параметра (це зазвичай є легшою властивістю для перевірки, ніж ефективність), та слушні оцінки (англ. consistent estimators), що збігаються за ймовірністю до істинного значення такого параметра.
Це все ще залишає відкритим питання, як отримувати статистичні оцінки в заданій ситуації та виконувати обчислення, було запропоновано декілька методів: метод моментів, метод максимальної правдоподібності, метод найменших квадратів, та новіший метод оцінних рівнянь