trong Information Mining and Enterprise sentayho.com.vn Mining and Enterprise Intelligence…(Total Web site) Kiếm tìm sentayho.com.vn » Information Mining and Enterprise Intelligence » Information Mining and Enterprise Intelligence » 1 ít tri thức Thống kê cho khai phá dữ liệu sentayho.com.vn
Ta biết rằng 4 lĩnh vực liên quan của khai phá dữ liệu gồm thống kê (statistics), Máy học (Machine Studying), Cơ sở dữ liệu (Database) và biễu diễn tri thức (Visualization). Trong 4 lĩnh vực này thì thống kê đóng vài trò siêu quan yếu trong quy trình khai phá dữ liệu nhất là trong kiểm định kết quả của mô hình và trong đánh giá tri thức tìm ra được.
Bạn đang xem: Interquartile vary là gì
Bài viết này giới thiệu sơ lược về những khái niệm cơ bản của thống kê dùng trong mô tả dữ liệu như những tham số đo lường xu hướng tập trung của dữ liệu (imply, Median, mode) và đo lường sự biến thiên của dữ liệu (Rang, Variance và Commonplace Deviation, Commonplace Error).
Để dễ hình dung, ta khởi đầu có dí dụ đơn giản sau:
Giả sử rằng bạn chạy 100 m trong 6 lần, từng lần chạy bạn dùng đồng hồ đo lại thời kì chạy (tính bằng giây) và kết quả 6 lần chạy của bạn gồm 6 giá trị (còn gọi là xem) như sau:
x={25.1, 21.2, 17.9, 23.0, 24.6, 19.5}
Dữ liệu này cho bạn biết những thông tin gì? Sau đây là 1 số thống kê đơn giản của dữ liệu về thời kì chạy 100m của bạn:
– Thời kì chạy trung bình (imply) là 21.9 giây
– Giá trị giữa (còn gọi là trung vị – median) là 22.1 giây
– Thời kì chạy nhiều nhất (most) là 25.1 giây và thời kì chạy ít nhất (minimal) là 17.9giây. Trường hợp so sánh có kỷ lục thế giới về 100m là 9.78 giây thì bạn biết rằng mình chạy để tập thể dục cho khỏe chứ ko cần là vận động viên điền kinh chuyên nghiệp!
– Phương sai (variance) là 8.2 giây bình phương và độ lệch chuẩn (normal Deviation) là 2.9 giây
Đo lường số đo xu hướng tập trung (Central Tendency)
Để đo lường xu hướng tập trung của dữ liệu người ta thường dùng 3 tham số ấy là số trung bình (trung bình số học – Arithmetic imply hay common), số trung vị (median) và số mode.
Imply (số trung bình):Trung bình số học được tính đơn giản bằng tổng của hầu hết những giá trị của dữ liệu trong mẫu chia cho kích thước mẫu.
Sở hữu dữ liệu về chạy 100m trên ta có
Median (trung vị):
Trong lý thuyết xác suất và thống kê, số trung vị (Median) là giá trị giữa trong 1 phân bố chia phân bố thành 2 nhóm mà trong ấy số những số trong từng nhóm bằng nhau. Nói phương pháp khác, trường hợp m là trung vị của 1 phân bố nào ấy thì 1/2 cá thể trong phân bố ấy có giá trị bé hơn hay bằng m và 50% còn lại có giá trị bằng hoặc lớn hơn m.
Median được tính như sau: Sắp xếp dữ liệu và lấy giá trị tại giữa. Trường hợp số giá trị là 1 số chẳn thì median là trung bình của 2 giá trị tại giữa. Sở hữu số liệu trên ta có median=22.1
Ký hiệu:
: Số nguyên lớn nhất bé hơn p ( flooring operate).
: Số nguyên bé nhất lớn hơn p (ceiling operate)
x(p): Trả về giá trị tại vùng p trong mẫu x sau khoản thời gian đã sắp xếp x nâng cao dần.
Trong dí dụ trên ta có n=6,
Mode (Yếu vị)
Mode là số có tần suất xuất hiện nhiều nhất trong mẫu. Trường hợp trong mẫu ko có số nào xuất hiện lặp lại thì ko có mode.
Sở hữu mẫu dữ liệu trên thì ko có mode.
So sánh giữa Imply, Median và Mode
Trong 3 tham số Imply, Mode và Median thì Median có khả năng đo lường xu hướng tập trung của dữ liệu mạnh nhất.
Xem thêm: Ntn Vlogs Là Ai ? Ntn Vlogs Youtube Channel
Trở lại dí dụ chạy 100 m trên, giả sử sau khoản thời gian chạy hết 6 lần, bạn chạy tiếp lần thứ 7. Lần này đột nhiên chân bạn bị đau và bạn đi bộ thay đổi vì chạy và kết quả thời kì của lần này là 79.9 giây. Bạn cố gắng thử thêm lần nữa và kết quả vẫn 79.9 giây. Trên thực tế} ta có Pattern về 8 lần chạy như sau:
x={25.1, 21.2, 17.9, 23.0, 24.6, 19.5, 79.9, 79.9}
Những giá trị Imply, Median và Mode so sánh giữa 2 Pattern như sau:
Central tendency
6 measurements
8 measurements
Imply
21.9 giây
36.4 giây
Median
22.1 giây
23.8 giây
Mode
Not obtainable
79.9 giây
Trường hợp bạn xem chu đáo, đối có 6 lần chạy trước tiên thì thời kì chính gian chạy còn 2 lần sau có sự khác biệt siêu lớn so có 6 lần chạy ban đầu (2 giá trị này được xem là bất thường của dữ liệu – outlier) thực chất nó ko cần thời kì chạy mà là thời kì đi bộ. Trường hợp bạn ko bị đau thì thời kì chạy dao động quanh Median. Theo bảng trên ta thấy rằng 2 Outliers ko tác động nhiều tới Median (từ 22.1 lên 23.8) nhưng tác động siêu lớn tới Imply (từ 21.9 lên 36.4) và Mode. Mặc dầu Median có khả năng đo lường xu hướng tập trung của dữ liệu mạnh hơn Imply vì Median ko bị tác động bởi những Outliers nhưng nhiều người vẫn thích dùng Imply để đo lường xu hướng tập trung của dữ liệu vì dễ tính hơn ko cần cần sắp xếp dữ liệu như Median.
Mode siêu hữu ích đối có dữ liệu có kiểu dữ liệu phân loại (nominal). Đối có những dữ liệu có kiểu phân loại ta ko thể dùng Imply hay Median vì nó ko có ý nghĩa gì mà cần dùng Mode. Dí dụ trường hợp dữ liệu mô tả nam nữ là nominal và 1 là nam, 0 là nữ thì Imply hay Median là 0.5 ko có ý nghĩa gì. Trong lúc ấy Mode cho biết tần suất nam hay nữ xuất hiện nhiều nhất. Quartiles (tứ phân vị)
Tứ phân vị là đại lượng mô tả sự phân bố và sự phân tán của tập dữ liệu. Tứ phân vị có 3 giá trị, ấy là tứ phân vị thứ 1 (Q1), thứ nhì (Q2), và thứ bố (Q3). Bố giá trị này chia 1 tập hợp dữ liệu (đã sắp xếp dữ liệu theo trật từ từ bé tới lớn) thành 4 phần có số lượng xem đều nhau.
Tứ phân vị được xác định như sau:
· Sắp xếp những số theo thứ tự động nâng cao dần
· Cắt dãy số thành 4 phàn bằng nhau
· Tứ phân vị là những giá trị tại vùng cắt
Độ trải giữa(Interquartile Vary – IQR)
Interquartile Vary được xác định như sau:
Field Plot (Biểu đồ hộp)
Field Plot giúp bạn biểu diễn những đại lượng quan yếu của dãy số như min, max, Quartile, Interquartile Vary 1 phương pháp trực quan, dễ hiểu. 1 Field plot có dạng như sau:
Đo lường sự biến thiên của dữ liệu (Variation of Information)
Để biết xu hướng tập trung của dữ liệu ta dùng những tham số như Imply, Median, Mode. Tuy nhiên, 1 câu hỏi quan yếu nữa cần cần trả lời lúc xem xét 1 chất lượng của mẫu là “làm cho sao đo lường sự biến thiên (hay sự phân tán) của dữ liệu trong mẫu?” Vì có thể 2 mẫu có cùng trung bình nhưng sự biến thiên của dữ liệu là khác nhau.
Để đo lường sự biến thiên (thường so có giá trị trung bình) của dữ liệu người ta thường dùng những tham số Vary (khoảng biến thiên), Interquartile Vary (IQR – Khoảng tứ phân vị), Commonplace Deviation (độ lệch chuẩn), Variance (phương sai), Commonplace Error (sai số chuẩn)
Vary (Khoảng biến thiên): Được tính bằng phương pháp lấy giá trị lớn nhất – giá trị bé nhất
Vary = Max – Min
Trong pattern gồm 6 xem về thời kì chạy 100 m trong dí dụ trên ta có
Vary = 25.1- 17.9 = 7.2 giây
Deviation (độ lệch)
Cả 2 tham số Vary và IQR ko chú ý tới giá trị trung tâm (thường dùng giá trị trung bình). Lúc muốn đo lường sự phân tán của dữ liệu so có giá trị trung tâm, ta đo lường độ lệch của từng xem (cá thể) so có giá trị trung tâm. Giả sử ta dùng giá trị trung bình làm cho giá trị trung tâm, lúc ấy ta có tổng độ lệch của hầu hết xem có giá trị trung bình là:
Vì tổng độ lệch này bằng 0 nên ta ko thể dùng độ lệch này để mô tả sự phân tán của dữ liệu.
(Đặc biệt của số trung bình toán học (imply) là san bằng mọi bù trừ. Vì vậy lúc tính tổng hầu hết những độ lệch thì kết quả luôn bằng 0)
Để khắc phục vấn đề này, ta có thể dùng tổng những giá trị tuyệt đối những độ lệch
Để loại bỏ tác động của kích thước mẫu (vì từng mẫu có kích thước khác nhau) ta chia tổng này cho kích thước mẫu, ta có:
Tuy nhiên vấn đề của giá trị tuyệt đối là tính ko liên tục (discontinuity) tại gốc tọa độ (trong trường hợp này là imply) vì vậy những nhà thống kê đã tìm ra công thức phải chăng hơn để mô tả sự biến thiên của dữ liệu ấy là phương sai (Variance) và độ lệch chuẩn (Commonplace Deviation).
Variance (Phương sai) và độ lệch chuẩn (Commonplace Deviation)
Để giảm thiểu tổng những độ lệch bằng 0 và loại bỏ tác động của kích thước mẫu người ta tính tổng bình phương những độ lệch và chia cho kích thước mẫu trừ 1 (hiệu chỉnh). Ta có kết quả là “trung bình tổng bình phương những độ lệch” và gọi là phương sai mẫu (Pattern Variance)
Phương sai là tham số siêu phải chăng để đo lường sự biến thiên (hay phân tán) của dữ liệu trong mẫu vì nó đã chú ý tới độ lệch của từng xem so có số trung bình, loại bỏ tác động của kích thước mẫu và là clean Operate. Tuy nhiên, điểm yếu của phương sai là ko cùng đơn vị tính có Imply. Đơn vị tính của phương sai là bình phương của đơn vị tính của trung bình. Chẳn hạn, đơn vị tính của thời kì chạy trung bình là giây trong khí ấy đơn vị tính của phương sai là giây bình phương. Để giải quyết vấn đề này, người ta lấy căn bậc 2 của phương sai và kết quả này gọi là độ lệch chuẩn (Commonplace Deviation)
1 vấn đề nữa cần chú ý là từng lần lấy mẫu ta có 1 số trung bình (imply) và từ ấy ta tính được phương sai của mẫu. Phương sai của mẫu cho biết sự biến thiên của những cá thể trong quần thể. Giả sử ta lấy mẫu okay lần, và ta có okay số trung bình. Để mô tả sự biến thiên của những số trung bình mẫu lấy từ tổng thể người ta dùng đại lượng sai số chuẩn (Commonplace Error -SE) được tính bằng phương pháp lấy độ lệch chuẩn chia cho căn bậc 2 của kích thước mẫu:
Tóm lại: Độ lệch chuẩn mô tả biến thiên của những cá thể trong quần thể còn sai số chuẩn mô tả sự biến thiên của những số trung bình mẫu lấy từ tổng thể. 1 phương pháp dễ hiểu trường hợp ta lấy mẫu okay lần từ tổng thể và ta có okay số trung bình mẫu thì độ lệch chuẩn của okay số trung bình mẫu gọi là sai số chuẩn (chú ý okay thường siêu lớn, hàng triệu hay hàng tỷ lần vì trong thực tế ta ko biết được số trung bình của tổng thể).
Tương quan (Correlation)
Trong lý thuyết xác suất và thống kê, hệ số tương quan (Coefficient Correlation) cho biết độ mạnh của mối quan hệ tuyến tính giữa 2 biến số ngẫu nhiên. Từ tương quan (Correlation) được ra đời từ Co- (có nghĩa “collectively”) và Relation (quan hệ).
Hệ số tương quan giữa 2 biến có thể dương (optimistic) hoặc âm (unfavorable). Hệ số tương quan dương cho biết rằng giá trị 2 biến nâng cao cùng nhau còn hệ số tương quan âm thì trường hợp 1 biến nâng cao thì biến kia giảm.
Độ mạnh và hướng tương quan của 2 biến được mô tả như sau:
Hệ số tương quan có thể nhận giá trị từ -1 tới 1:
Dí dụ: Có dữ liệu (bivariate) về nhiệt độ (Temperature) và doanh thu bán kem (Ice Cream Gross sales) như sau:
Đồ thị Scatter Plot của dữ liệu trên :
Từ Scatter Plot, ta có thể thấy rằng nhiệt độ càng cao thì doanh thu bán kem càng cao. Trong dữ liệu trên, hệ số tương quan là 0.9575(sẽ trình bày phương pháp tính tại phần sau) và mối quan hệ giữa nhiệt độ và doanh số bán kem là siêu mạnh. Hệ số tương quan dương bảo rằng nhiệt độ nâng cao thì doanh số bán kem cũng nâng cao.
Tương quan ko có tính nhân quả (Causation).
Phương pháp tính hệ số tương quan (Coefficient Correlation)
Trong dí dụ trên, hệ số tương quan là 0.9575. Trên thực tế} sẽ trình bày phương pháp tính hệ số này theo công thức Pearson (Pearson’s Correlation).
Gọi x và y là 2 biến (Trong dí dụ trên thìx là Temperature và y là Ice Cream Gross sales)
· Bước 1: Tính trung bình của x và y
· Bước 2: Tính độ lệch của từng giá trị của x có trung bình của x (lấy những giá trị của x trừ đi trung bình của x) và gọilà”a“, làm cho tương tự động như vậy có y và gọi là “b“
· Bước 3: Tính: a × b, a2 và b2 cho từng giá trị
· Bước 4: Tính tổng a × b, tổng a2 vả tổng b2
· Bước 5: Chia tổng của a × b cho căn bậc 2 của<(sum a2) × (sum b2)>
Công thức chung để tính hệ số tương quan giữa 2 đại lượng ngẫu nhiên x và y là
Dưới đây minh họa việc tính hệ số tương quan của dí dụ trên
Những tham số đo lường xu hướng tập trung và biến thiên của dữ liệu có thể được tính dễ dàng bởi những hàm trong MS Excel. Sau đây giới thiệu 1 số hàm liên quan và dí dụ minh họacách tính những tham số trên trong MS Excel
Đo lường xu hướng trung (Central tendency)
AVERAGE: Tính trung bình số học (imply)
MEDIAN: Tính trung vị
MODE: Tính số mode
Đo lường độ biến thiên (Variation)
MAX – MIN : Tính Vary
PERCENTILE (array, okay) : Tìm phân vị thứ okay của những giá trị trong 1 mảng dữ liệu
QUARTILE (array, 3) – QUARTILE (array, 1) : Tính Inter Quartile Vary (IQR)
VAR : Tính phương sai của mẫu
VARPA: Tính phương sai tổng thể (Chú ý, công thức tính phương sai tổng thể giống như phương sai mẫu nhưng thay đổi vì chia cho n-1 như phương sai mẫu thì chia cho n. trong ấy n là kích thước mẫu)
STDEV : Tính độ lệch chuẩn của mẫu
STDEVPA Tính độ lệch chuẩn của tổng thể
1 số hàm liên quan khác
SUM : Tính tổng những số
SQRT: Căn bậc 2
CEILING : Ceiling operate. CEILING(okay) cho số nguyên bé nhất lơn hơn okay.Dí dụ : CEILING(3.5,1)=4
FLOOR : Flooring operate. FLOOR(okay) cho số nguyên lớn nhất bé hơn okay. Dí dụ: FLOOR(3.5)=3)
