Histogram - Histogram

Histogram
Dakikadaki gelişlerin histogramı.svg
Biri Yedi Temel Kalite Aracı
İlk olarak tanımlayanKarl Pearson
AmaçKabaca değerlendirmek için olasılık dağılımı belirli değer aralıklarında meydana gelen gözlemlerin sıklığını tasvir ederek belirli bir değişkenin.

Bir histogram yaklaşık bir temsilidir dağıtım sayısal veriler. İlk kez tarafından tanıtıldı Karl Pearson.[1] Bir histogram oluşturmak için ilk adım "çöp Kutusu "(veya"Kova ") değer aralığı (yani, tüm değerler aralığını bir dizi aralığa böler) ve ardından her aralığa kaç değer düştüğünü sayın. Bölmeler genellikle birbiriyle çakışmayan ardışık olarak belirtilir aralıklar bir değişkenin. Bölmeler (aralıklar) bitişik olmalıdır ve genellikle (ancak zorunlu değildir) eşit boyuttadır.[2]

Bölmeler eşit boyuttaysa, bölmenin üzerine yüksekliği ile orantılı bir dikdörtgen dikilir. Sıklık - her bölmedeki kasa sayısı. Bir histogram da olabilir normalleştirilmiş "bağıl" frekansları görüntülemek için. Daha sonra, birkaç vakanın her birine giren vakaların oranını gösterir. kategoriler Yüksekliklerin toplamı 1'e eşittir.

Ancak, bölmelerin eşit genişlikte olması gerekmez; bu durumda, dikdörtgenin kendi alan bölmedeki vakaların sıklığı ile orantılı.[3] Dikey eksen o zaman frekans değil, frekans yoğunluğu- yatay eksende değişkenin birimi başına vaka sayısı. Değişken depo genişliği örnekleri, aşağıdaki Sayım bürosu verilerinde gösterilmektedir.

Bitişik bölmeler boşluk bırakmadığından, histogramın dikdörtgenleri orijinal değişkenin sürekli olduğunu belirtmek için birbirine dokunur.[4]

Histogramlar, verilerin temeldeki dağılımının yoğunluğuna ilişkin kabaca bir fikir verir ve genellikle yoğunluk tahmini: tahmin etmek olasılık yoğunluk fonksiyonu temelde yatan değişkenin. Olasılık yoğunluğu için kullanılan bir histogramın toplam alanı her zaman 1'e normalleştirilir. Aralıkların uzunluğu xEksen 1'dir, sonra histogram bir ile aynıdır göreceli sıklık arsa.

Bir histogram basit bir şekilde düşünülebilir çekirdek yoğunluğu tahmini, kullanan çekirdek kutular üzerindeki frekansları düzeltmek için. Bu bir daha pürüzsüz Genel olarak temelde yatan değişkenin dağılımını daha doğru bir şekilde yansıtacak olan olasılık yoğunluğu işlevi. Yoğunluk tahmini, histograma alternatif olarak çizilebilir ve genellikle bir dizi kutu yerine bir eğri olarak çizilir. Bununla birlikte, istatistiksel özelliklerinin modellenmesi gerektiğinde, uygulamalarda histogramlar tercih edilir. Bir çekirdek yoğunluğu tahmininin ilişkili varyasyonunu matematiksel olarak tanımlamak çok zordur, ancak her bölmenin bağımsız olarak değiştiği bir histogram için basittir.

Çekirdek yoğunluğu tahminine bir alternatif, ortalama kaydırılmış histogramdır,[5]Hesaplaması hızlıdır ve çekirdek kullanmadan yoğunluğun düzgün bir eğri tahmini verir.

Histogram, yedi temel kalite kontrol aracı.[6]

Histogramlar bazen çubuk grafiklerle karıştırılır. Histogram, sürekli veri, bölmeler veri aralıklarını temsil ederken grafik çubuğu kategorik değişkenlerin bir grafiğidir. Bazı yazarlar, ayrımı açıklığa kavuşturmak için çubuk grafiklerin dikdörtgenler arasında boşluklar olmasını önermektedir.[7][8]

Örnekler

Bu, 500 öğe kullanılarak sağdaki histogram için veridir:

Örnek histogram.png
Çöp KutusuMiktar
−3,5 ila −2,519
−2,5 ila −1,5132
−1,5 ila −0,51109
−0,5 - 0,49180
0,5 ila 1,49132
1.5 - 2.4934
2,5 ila 3,494

Bir histogramdaki desenleri tanımlamak için kullanılan kelimeler şunlardır: "simetrik", "eğik sola" veya "sağ", "tek modlu", "çift modlu" veya "çok modlu".

Daha fazla bilgi edinmek için verileri birkaç farklı bölme genişliği kullanarak çizmek iyi bir fikirdir. İşte bir restoranda verilen ipuçlarına bir örnek.

ABD Sayım Bürosu evlerinin dışında çalışan 124 milyon insan olduğunu buldu.[9] İşe gitmek için seyahatin işgal ettiği süre hakkındaki verilerini kullanarak, aşağıdaki tablo, "en az 30, ancak 35 dakikadan az" seyahat süreleri ile yanıt verenlerin mutlak sayılarının, yukarıdaki ve altındaki kategorilerdeki sayılardan daha yüksek olduğunu göstermektedir. Bunun nedeni muhtemelen bildirilen yolculuk sürelerini yuvarlayan kişilerdir.[kaynak belirtilmeli ] Değerleri biraz keyfi olarak bildirme sorunu yuvarlak sayılar insanlardan veri toplarken yaygın bir fenomendir.[kaynak belirtilmeli ]

Seyahat süresinin histogramı (işe kadar), ABD 2000 nüfus sayımı. Eğri altındaki alan toplam vaka sayısına eşittir. Bu diyagram, tablodaki Q / genişliğini kullanır.
Mutlak sayılara göre veriler
AralıkGenişlikMiktarMiktar / genişlik
054180836
55136872737
105186183723
155196343926
205179813596
25571901438
305163693273
3553212642
4054122824
45159200613
60306461215
9060343557

Bu histogram, vaka sayısını gösterir. birim aralığı her bloğun yüksekliği olarak, böylece her bloğun alanı, anketteki kategorisine giren kişi sayısına eşittir. Eğrinin altındaki alan toplam vaka sayısını (124 milyon) temsil eder. Bu tür histogram, Q ile binler içinde mutlak sayıları gösterir.

Seyahat süresinin histogramı (işe kadar), ABD 2000 nüfus sayımı. Eğri altındaki alan 1'e eşittir. Bu diyagram, tablodaki Q / toplam / genişliği kullanır.
Orantılı veriler
AralıkGenişlikMiktar (Q)Q / toplam / genişlik
0541800.0067
55136870.0221
105186180.0300
155196340.0316
205179810.0290
25571900.0116
305163690.0264
35532120.0052
40541220.0066
451592000.0049
603064610.0017
906034350.0005

Bu histogram, yalnızca birinciden farklıdır. dikey ölçek. Her bloğun alanı, her kategorinin temsil ettiği toplamın oranıdır ve tüm çubukların toplam alanı 1'e eşittir (kesir, "tümü" anlamına gelir). Görüntülenen eğri, basit yoğunluk tahmini. Bu sürüm oranları gösterir ve aynı zamanda birim alan histogramı olarak da bilinir.

Başka bir deyişle, bir histogram, genişlikleri sınıf aralıklarını temsil eden ve alanları karşılık gelen frekanslarla orantılı olan dikdörtgenler aracılığıyla bir frekans dağılımını temsil eder: her birinin yüksekliği, aralık için ortalama frekans yoğunluğudur. Aralıklar, histogram tarafından temsil edilen verilerin dışlayıcı olmakla birlikte aynı zamanda bitişik olduğunu göstermek için bir araya getirilir. (Örneğin, bir histogramda 10,5–20,5 ve 20,5–33,5'lik iki bağlantı aralığına sahip olmak mümkündür, ancak 10,5–20,5 ve 22,5–32,5'lik iki bağlantı aralığı olamaz. Boş aralıklar boş olarak gösterilir ve atlanmamıştır.)[10]

Matematiksel tanım

Aynı verilerin sıradan ve kümülatif bir histogramı. Gösterilen veriler, ortalaması 0 ve standart sapması 1 olan normal bir dağılımdan 10.000 noktadan oluşan rastgele bir örnektir.

Daha genel bir matematiksel anlamda, histogram bir fonksiyondur mben bu, ayrık kategorilerin her birine düşen gözlemlerin sayısını sayar ( çöp kutuları), oysa bir histogramın grafiği, histogramı temsil etmenin yalnızca bir yoludur. Böylece izin verirsek n toplam gözlem sayısı ve k toplam bölme sayısı, histogram mben aşağıdaki koşulları karşılar:

Kümülatif histogram

Kümülatif histogram, belirtilen bölmeye kadar tüm bölmelerdeki kümülatif gözlem sayısını sayan bir eşlemedir. Yani kümülatif histogram Mben bir histogramın mj olarak tanımlanır:

Bölme sayısı ve genişlik

"En iyi" bölme sayısı yoktur ve farklı bölme boyutları verilerin farklı özelliklerini ortaya çıkarabilir. Verilerin gruplanması en az eskidir Graunt 17. yüzyıldaki çalışmaları, ancak sistematik yönergeler verilmedi[11] a kadar Sturges 1926'da çalışıyor.[12]

Altta yatan veri noktalarının yoğunluğunun düşük olduğu daha geniş bölmelerin kullanılması, örnekleme rasgeleliği nedeniyle gürültüyü azaltır; Yoğunluğun yüksek olduğu daha dar bölmelerin kullanılması (bu nedenle sinyal gürültüyü bastırır) yoğunluk tahminine daha fazla hassasiyet verir. Bu nedenle, bir histogram içinde bölme genişliğini değiştirmek faydalı olabilir. Bununla birlikte, eşit genişlikteki bölmeler yaygın olarak kullanılmaktadır.

Bazı teorisyenler optimum sayıda bölmeyi belirlemeye çalıştılar, ancak bu yöntemler genellikle dağılımın şekli hakkında güçlü varsayımlar yapıyor. Gerçek veri dağılımına ve analizin hedeflerine bağlı olarak, farklı bölme genişlikleri uygun olabilir, bu nedenle genellikle uygun bir genişliği belirlemek için deney yapılması gerekir. Bununla birlikte, çeşitli yararlı kılavuzlar ve pratik kurallar vardır.[13]

Bölme sayısı k doğrudan atanabilir veya önerilen bir bölme genişliğinden hesaplanabilirh gibi:

Parantezler, tavan işlevi.

Karekök seçimi

Bu, örnekteki veri noktalarının sayısının karekökünü alır (Excel histogramları ve diğer pek çok kişi tarafından kullanılır) ve bir sonrakine yuvarlar tamsayı.[14]


Sturges formülü

Sturges formülü[12] iki terimli bir dağılımdan türetilir ve dolaylı olarak yaklaşık olarak normal bir dağılım varsayar.

Bölme boyutlarını dolaylı olarak veri aralığına dayandırır ve aşağıdaki durumlarda kötü performans gösterebilir.n <30, çünkü bölmelerin sayısı az olacaktır (yediden az) ve verilerdeki eğilimleri iyi göstermesi olası değildir. Veriler normal olarak dağıtılmadıysa da kötü performans gösterebilir.

Pirinç Kuralı

Pirinç Kuralı [15] Sturges kuralına basit bir alternatif olarak sunulmuştur.

Doane formülü

Doane formülü[16] normal olmayan verilerle performansını iyileştirmeye çalışan Sturges formülünün bir modifikasyonudur.

nerede tahmini 3. ançarpıklık dağıtımın ve

Scott'ın normal referans kuralı

nerede örnek standart sapma. Scott'ın normal referans kuralı[17] yoğunluk tahmininin entegre ortalama kare hatasını en aza indirmesi anlamında normal dağıtılan verilerin rastgele örnekleri için idealdir.[11]

Freedman-Diaconis'in seçimi

Freedman-Diaconis kuralı dır-dir:[18][11]

dayalı olan çeyrekler arası aralık, IQR ile gösterilir. Scott'ın kuralının 3,5σ'sunu, verilerdeki aykırı değerlere standart sapmadan daha az duyarlı olan 2 IQR ile değiştirir.

Çapraz doğrulama tahmini hata karesi oranını en aza indirme

Scott kuralından gelen entegre ortalama karesel hatayı en aza indirmeye yönelik bu yaklaşım, birini dışarıda bırak çapraz doğrulama kullanılarak normal dağılımların ötesinde genelleştirilebilir:[19][20]

Buraya, içindeki veri noktası sayısı kbin ve değerini seçme h en aza indiren J entegre ortalama kare hatasını en aza indirecektir.

Shimazaki ve Shinomoto'nun seçimi

Seçim, tahmini bir değerin en aza indirilmesine dayanmaktadır. L2 risk fonksiyonu[21]

nerede ve bin genişliğine sahip bir histogramın ortalama ve yanlı varyansıdır , ve .

Değişken bölme genişlikleri

Eşit aralıklı bölmeler seçmek yerine, bazı uygulamalar için bölme genişliğini değiştirmek tercih edilir. Bu, düşük sayıdaki kutuları önler. Yaygın bir durum seçmektir donatılabilir kutular, her bölmedeki örnek sayısının yaklaşık olarak eşit olması beklenir. Kutular, bilinen bazı dağıtımlara göre seçilebilir veya verilere dayalı olarak seçilebilir, böylece her bir bölme, örnekler. Histogramı çizerken, frekans yoğunluğu bağımlı eksen için kullanılır. Tüm bölmeler yaklaşık olarak eşit alana sahipken, histogramın yükseklikleri yoğunluk dağılımına yaklaşıktır.

Eşlenebilir kutular için, bölmelerin sayısı için aşağıdaki kural önerilir:[22]

Bu kutu seçimi, bir aracın gücünü maksimize ederek motive edilir. Pearson ki-kare testi bölmelerin eşit sayıda numune içerip içermediğinin test edilmesi. Daha spesifik olarak, belirli bir güven aralığı için Aşağıdaki denklemin 1/2 ila 1 katı arasında seçim yapılması önerilir:[23]

Nerede ... probit işlevi. Bu kuralı takiben arasında verecek ve ; 2 katsayısı, bu geniş optimumdan hatırlanması kolay bir değer olarak seçilmiştir.

Açıklama

Bölme sayısının orantılı olmasının iyi bir nedeni şudur: verilerin şu şekilde elde edildiğini varsayalım: pürüzsüz yoğunluklu sınırlı olasılık dağılımının bağımsız gerçekleşmeleri. Daha sonra histogram eşit derecede "sağlam" kalır sonsuzluğa meyillidir. Eğer dağılımın "genişliği" dir (örneğin, standart sapma veya çeyrekler arası aralık), bu durumda bir bölmedeki birimlerin sayısı (frekans) sıralıdır ve akraba standart hata sıralıdır . Bir sonraki bölmeyle karşılaştırıldığında, frekansın göreceli değişimi sıralıdır yoğunluğun türevinin sıfır olmaması şartıyla. Bu ikisi aynı sıradadır eğer düzenlidir , Böylece düzenlidir . Bu basit kübik kök seçimi, sabit olmayan genişliğe sahip kutulara da uygulanabilir.

Bir için histogram ve yoğunluk işlevi Gumbel dağılımı [24]

Başvurular

Ayrıca bakınız

Referanslar

  1. ^ Pearson, K. (1895). "Matematiksel Evrim Teorisine Katkılar. II. Homojen Malzemede Çarpıklık Değişimi". Royal Society A'nın Felsefi İşlemleri: Matematik, Fizik ve Mühendislik Bilimleri. 186: 343–414. Bibcode:1895RSPTA.186..343P. doi:10.1098 / rsta.1895.0010.
  2. ^ Howitt, D .; Cramer, D. (2008). Psikolojide İstatistiğe Giriş (Dördüncü baskı). Prentice Hall. ISBN  978-0-13-205161-3.
  3. ^ Freedman, D .; Pisani, R .; Purves, R. (1998). İstatistik (Üçüncü baskı). W. W. Norton. ISBN  978-0-393-97083-8.
  4. ^ Charles Stangor (2011) "Davranış Bilimleri İçin Araştırma Yöntemleri". Wadsworth, Cengage Learning. ISBN  9780840031976.
  5. ^ David W. Scott (Aralık 2009). "Ortalama kaydırılmış histogram". Wiley Disiplinlerarası İncelemeler: Hesaplamalı İstatistik. 2:2 (2): 160–164. doi:10.1002 / wics.54.
  6. ^ Nancy R. Tague (2004). "Yedi Temel Kaliteli Araç". Kalite Araç Kutusu. Milwaukee, Wisconsin: American Society Quality. s. 15. Alındı 2010-02-05.
  7. ^ Naomi, Robbins. "Histogram, Çubuk Grafik DEĞİLDİR". Forbes.com. Forbes. Alındı 31 Temmuz 2018.
  8. ^ M. Eileen Magnello (Aralık 2006). "Karl Pearson ve Modern İstatistiğin Kökenleri: Esneklikçi İstatistikçi Oluyor". New Zealand Journal for the History and Philosophy of Science and Technology. 1 hacim. OCLC  682200824.
  9. ^ ABD 2000 nüfus sayımı.
  10. ^ Dean, S. ve Illowsky, B. (2009, 19 Şubat). Tanımlayıcı İstatistikler: Histogram. Connexions Web sitesinden erişildi: http://cnx.org/content/m16298/1.11/
  11. ^ a b c Scott, David W. (1992). Çok Değişkenli Yoğunluk Tahmini: Teori, Uygulama ve Görselleştirme. New York: John Wiley.CS1 bakimi: ref = harv (bağlantı)
  12. ^ a b Sturges, H.A. (1926). "Bir sınıf aralığı seçimi". Amerikan İstatistik Derneği Dergisi. 21 (153): 65–66. doi:10.1080/01621459.1926.10502161. JSTOR  2965501.
  13. ^ Örneğin. § 5.6 "Yoğunluk Tahmini", W. N. Venables ve B. D. Ripley, S ile Modern Uygulamalı İstatistikler (2002), Springer, 4. baskı. ISBN  0-387-95457-0.
  14. ^ "EXCEL Univariate: Histogram".
  15. ^ Çevrimiçi İstatistik Eğitimi: Multimedya Eğitim Kursu (http://onlinestatbook.com/ ). Proje Lideri: David M. Lane, Rice Üniversitesi (bölüm 2 "Grafik Dağılımları", "Histogramlar" bölümü)
  16. ^ Doane DP (1976) Estetik frekans sınıflandırması. Amerikan İstatistikçi, 30: 181–183
  17. ^ Scott, David W. (1979). "Optimal ve veri tabanlı histogramlarda". Biometrika. 66 (3): 605–610. doi:10.1093 / biomet / 66.3.605.
  18. ^ Freedman, David; Diaconis, P. (1981). "Histogramda yoğunluk tahmincisi olarak: L2 teori " (PDF). Zeitschrift für Wahrscheinlichkeitstheorie und Verwandte Gebiete. 57 (4): 453–476. CiteSeerX  10.1.1.650.2473. doi:10.1007 / BF01025868. S2CID  14437088.
  19. ^ Wasserman Larry (2004). Tüm İstatistikler. New York: Springer. s. 310. ISBN  978-1-4419-2322-6.
  20. ^ Taş, Charles J. (1984). "Asimptotik olarak optimum histogram seçim kuralı" (PDF). Jerzy Neyman ve Jack Kiefer onuruna Berkeley konferansının bildirileri.
  21. ^ Shimazaki, H .; Shinomoto, S. (2007). "Bir zaman histogramının bölme boyutunu seçmek için bir yöntem". Sinirsel Hesaplama. 19 (6): 1503–1527. CiteSeerX  10.1.1.304.6404. doi:10.1162 / neco.2007.19.6.1503. PMID  17444758. S2CID  7781236.
  22. ^ Jack Prins; Don McCormack; Di Michelson; Karen Horrell. "Ki-kare uyum iyiliği testi". NIST / SEMATECH e-Handbook of Statistical Methods. NIST / SEMATECH. s. 7.2.1.1. Alındı 29 Mart 2019.
  23. ^ Moore, David (1986). "3". D'Agostino, Ralph; Stephens, Michael (editörler). Uyum İyiliği Teknikleri. New York, NY, ABD: Marcel Dekker Inc. s. 70. ISBN  0-8247-7487-6.
  24. ^ Olasılık dağılımları ve yoğunluk fonksiyonları için bir hesap makinesi
  25. ^ Histogramlar ve olasılık yoğunluk fonksiyonlarının bir gösterimi

daha fazla okuma

  • Lancaster, H.O. Tıbbi İstatistiklere Giriş. John Wiley and Sons. 1974. ISBN  0-471-51250-8

Dış bağlantılar