Eylül 3rd, 2020

Screaming Frog ile SEO Analizi – 1. Bölüm

Screaming Frog SEO Spider, web sitesinin sahip olduğu verileri çıkararak SEO performansınızı geliştirmenize yarayan raporlar sunan SEO Crawl (tarama) aracıdır. Bu aracı kullanmaya başladıkça ve özelliklerini keşfettikçe işinizin ne kadar kolaylaştığını göreceksiniz. Bu yazıda ise SEO konusunda bilginiz olsun veya olmasın olası ihtiyaçlara karşı nasıl çözümler üreteceğimizi sizinle paylaşıyor olacağız.

Temel Web Sitesi Taraması (Web Crawl) 

Screaming Frog ile sitenin tamamı nasıl taranır?

Taramaya başlamadan önce, bir dakikanızı ayırıp ne tür bilgiler almak istediğinizi, sitenin ne kadar büyük olduğunu ve hepsine erişmek için sitenin ne kadarını taramanız gerektiğini değerlendirmek iyi bir fikirdir. Daha büyük web sitelerinde sitenin tamamını taramak yerine bir bölümünü taramak ve bu örnek veriye göre değerlendirmek işinizi görebilir. Bu, dosya boyutlarını ve veri dışa aktarmalarını biraz daha yönetilebilir kılar. Bunu aşağıda daha ayrıntılı olarak ele alacağız. Tüm subdomainler de dahil olmak üzere tüm sitenizi taramaya başlamak için Spider ayarlarında bazı küçük ayarlamalar yapmanız gerekir.

Varsayılan olarak, Screaming Frog yalnızca girdiğiniz domain ya da subdomaini tarar. Spider’ın karşılaştığı ek subdomainler harici bağlantılar olarak görüntülenecektir. Ek subdomainleri taramak için Spider Configuration menüsündeki ayarları değiştirmeniz gerekir. ‘Crawl All Subdomains’ seçeneğini işaretleyerek, spider’ın sitenizdeki diğer subdomainlerle karşılaştığı tüm bağlantıların taranmasını sağlarsınız.

1. Adım:

2. Adım:

Ayrıca, taramaya belirli bir alt klasörden (subfolder) veya alt dizinden başlıyorsanız ve yine de Screaming Frog’un tüm siteyi taramasını istiyorsanız, “Crawl Outside of Start Folder” kutusunu işaretleyin.

Varsayılan olarak, SEO Spider ayarlarında yalnızca alt klasörleri (subfolder) veya alt dizinleri (subdirectories) ileriye doğru tarayacak şekilde ayarlanmıştır. Tüm siteyi crawl yapmak ve belirli bir alt dizinden başlamak istiyorsanız, yapılandırmanın başlangıç klasörünün dışında (crawl outside the start folder) taranacak şekilde ayarlandığından emin olun.

İpucu:

Zamandan ve disk alanından tasarruf etmek için, crawling yapmanıza gerekmeyebilecek kaynaklara dikkat edin. Web siteleri, sayfalardan çok daha fazlasına bağlantı verir. Tarama (crawling) boyutunu azaltmak için Images(görseller), CSS, JavaScript ve SWF kaynaklarının işaretini kaldırın.

Tek bir alt dizin için taramayı nasıl yapabiliriz?

Taramayı (crawling) tek bir klasörle sınırlamak istiyorsanız, URL adresini girin ve varsayılan ayarlardan hiçbirini değiştirmeden başlat’a basın. Orijinal varsayılan ayarların üzerine yazdıysanız, ‘File’ menüsünde varsayılan yapılandırmayı (default configuration) sıfırlayın.

Taramayı belirli bir klasörde başlatmak istiyorsanız fakat aynı zamanda alt alan adının (subdomain) geri kalanını taramaya devam etmek istiyorsanız, başlamak için URL’nizi girmeden önce Spider Configuration ayarlarında ‘Crawl Outside Of Start Folder’ seçimini yaptığınızdan emin olun.

Belirli bir subdomain veya subdirectory nasıl taranır?

Taramayı belirli bir subdomain veya subdirectory kümesiyle sınırlamak istiyorsanız, RegEx’i Configuration menüsündeki Ekle (Include) veya Hariç Tut (Exclude) ayarlarını kullanarak yapabilirsiniz.

İstisna:

Bu örnekte, Peakment.com adresindeki her sayfayı, her alt alandaki ‘tr’ içeren sayfaları hariç tuttuk.

1.      Adım:

‘Configuration > Exclude’a gidin; hariç tutmak istediğiniz URL adreslerini veya parametreleri tanımlamak için bir “wildcard regular expression” kullanın.

2.      Adım:

Tarama yapmaya başlamadan önce hariç tutmayı beklediğiniz sayfaları hariç tuttuğundan emin olmak için regular expression testi gerçekleştirin:

İçerir (Include):

Aşağıdaki örnekte, yalnızca peakment.com sitemizin /tr/ subfolderunu taramak istedik. Yine, birkaç URL’yi test etmek ve RegEx’in dahil olma kuralınız için uygun şekilde yapılandırıldığından emin olmak için “Test” sekmesini kullanın.

Daha büyük siteleri taramak için bu yöntemi kullanmak önerilen yöntemlerden biridir.

Önemli NOT: Burada dikkat ettiğiniz gibi dahil olmasını istediğimiz /tr/ Slug’ını /tr/.* olarak kullandık. Eğer bu şekilde (.*)  kullanmazsanız sadece /tr/ prefixini içeren URL adresini tarar.

Sitemdeki tüm sayfaların listesini nasıl alabilirim?

Varsayılan olarak, Screaming Frog, Spider’ın karşılaştığı tüm resimleri, JavaScript, CSS ve flash dosyalarını crawling yapmaya ayarlıdır. Yalnızca HTML’yi crawl yapmak için Spider Configuration menüsünde “Check Images”, “Check CSS”, “Check JavaScript” ve “Check SWF”in seçimini kaldırmanız gerekir.

Crawling bittiğinde, “Internal” sekmesine gidin ve sonuçlarınızı “HTML” ile filtreleyin. “Export”a tıkladığınızda listenin tamamını CSV biçiminde indirebilirsiniz.

Dipnot: Bu işlem ile elde ettiğiniz sayfalar spider’ın bağlantıları takip ederek ulaştığı sayfalardır. Bağlantı verilmemiş sayfalarınız varsa bunları bulamaz. O nedenle sitenizin tamamında bu kadar sayfa var demek tam anlamıyla doğru olmaz. Genel olarak iyi bir iç linkleme yapıldıysa %95 üzerinde doğru sayıyı verir.

İpucu:

Her tarama için aynı ayarları kullanmak istiyorsanız, Screaming Frog artık yapılandırma ayarlarınızı kaydetmenize de izin veriyor: 

File > Configuration > Save As

Belirli bir alt dizindeki tüm sayfaların bir listesini nasıl alabilirim?

“Check Images”, ‘Check CSS’, ‘Check JavaScript’ ve ’Check SWF’in seçimini kaldırmanın yanı sıra, Spider Configuration ayarlarında ‘Check Links Outside Folder’ın seçimini de kaldırmak tavsiye edilir. Spider’ın bu ayarların işaretlenmemiş olarak çalıştırılması, aslında, başlangıç klasörünüzdeki tüm sayfaların bir listesini verecektir (orphan sayfalar olmadıkları sürece).

Bir sitedeki tüm subdomainlerin bulunması ve dahili bağlantıların doğrulanması nasıl yapılır?

Bir sitedeki tüm subdomainleri bulmanın birkaç farklı yolu vardır.

1.      Yol:

Belirli bir sitedeki tüm subdomainleri tanımlamak için Screaming Frog’u kullanın. Configuration > Spider’e gidin ve “Crawl all Subdomains”in seçili olduğundan emin olun. Tıpkı yukarıdaki tüm sitenizi taramak gibi, site crawling bağlantılı tüm subdomainlerin taranmasına yardımcı olur. Ancak, orphaned (sitenin herhangi bir bölümünden link almayan sayfa) veya bağlantısı kaldırılmış subdomainleri bulamaz.

2.      Yol:

Dizine eklenen tüm subdomainleri tanımlamak için Google’ı kullanın.

Scraper Chrome uzantısını ve bazı gelişmiş arama operatörlerini kullanarak, belirli bir alan için dizine eklenebilir tüm alt alanları bulabiliriz.

1.      Adım:

Sonuçları belirli alan adınızla kısıtlamak için Google’da bir site: arama operatörü kullanarak başlayın. Ardından, ana etki alanını kaldırarak arama sonuçlarını daraltmak için -inurl arama operatörünü kullanın. Google’da dizine eklenmiş ve ana alan adını içermeyen alt alan adlarının bir listesini görmeye başlamalısınız.

2.      Adım:

Tüm sonuçları bir Google E-Tablosuna aktarmak için Scraper Chrome uzantısını kullanın. SERP’deki URL’yi sağ tıklayın, “Scrape Similar”ı tıklayın ve bir Google Dokümanına aktarın.

3.      Adım:

Google dokümanında, URL adresini subdomaine göre düzenlemek için aşağıdaki işlevi kullanın:

=LEFT(A2,SEARCH(‘/’,A2,9))

Aslında, yukarıdaki formül bir sitenin sonundaki alt dizinleri, sayfaları veya dosya adlarını kaldırmaya yardımcı olur. Bu formül temelde sayfalara veya Excel’e sondaki eğik çizginin solunda ne olduğunu döndürmesini söyler. 9’un başlangıç ​​sayısı önemlidir, çünkü 9. karakterden sonra bir eğik çizgi aramaya başlamasını istiyoruz. Bu protokol 8 karakter uzunluğunda olan https: // protokolünü de açıklar.

Çoğaltılmış listeyi kaldırın ve listeyi Liste Modunda Screaming Frog’a yükleyin; oluşturulan URL listesini “Enter Manually” yani el ile yapıştırabilir, yapıştırma işlevini kullanabilir veya bir CSV dosya yükleyebilirsiniz.

3.Yol:

Root domain URL adresini, aynı IP de bulunabilecek siteleri veya özellikle Find Subdomains gibi alt alanları aramak için tasarlanmış arama motorlarında arama yapmanıza yardımcı olacak araçlara girin. Giriş yapmak ve alt alan adlarının listesini export (dışa aktarmak) etmek için ücretsiz bir hesap oluşturun. Ardından, Mode > List (liste modu) kullanarak listeyi Screaming Frog’a yükleyin.

Spider çalışmayı bitirdiğinde, durum kodlarının yanı sıra subdomainlerin ana sayfalarında yer alan bağlantıları, “Anchor text”i ve duplicate sayfa başlıklarını da görebilirsiniz.

Bir e-ticaret sitesi veya herhangi büyük bir site nasıl taranır?

Screaming Frog aslında yüz binlerce sayfayı taramak için tasarlanmamıştır, ancak bazı yükseltmeler sayesinde her geçen gün daha da yaklaşmaktadır.

Screaming Frog’un en yeni sürümü, taramalar için veritabanı depolama alanına dayanacak şekilde güncellendi. 11.0 sürümünde Screaming Frog, kullanıcıların tüm verileri sadece RAM de tutmak yerine bir veritabanında diske kaydetmeyi seçmesine izin vermeye başladı. Bu çok büyük sitelerin taranmasına olanak sağladı.

Sürüm 12.0’da, tarayıcı tarama sonuçları otomatik olarak veritabanına kaydedilir. Bu, açık komutun nereye gittiğini merak ederseniz, en üst menüdeki File> Crawls kullanılarak erişilmesine ve açılmasına izin verir!

“Database crawling” kullanmak Screaming Frog’un daha büyük taramayı yönetmesine yardımcı olurken, büyük bir siteyi taramanın başka yolları da vardır.

İlk olarak, spider’ın bellek kullanımını artırabilirsiniz.

İkinci olarak, taramayı alt dizine göre bölebilir veya Include / Exclude ayarlarınızı kullanarak sitenin yalnızca belirli bölümlerini tarayabilirsiniz.

Üçüncü olarak, Görselleri, JavaScript’i, CSS’yi ve Flash’ı taramayı seçebilirsiniz. Configuration menüsünde bu seçeneklerin seçimini kaldırarak, yalnızca HTML’yi tarayarak bellek tasarrufu yapabilirsiniz.

İpucu:

Yakın zamana kadar, Screaming Frog SEO Spider büyük bir siteyi tararken duraklayabilir veya çökebilirdi. Artık, veritabanı depolama alanı varsayılan ayar olarak ayarlı, bıraktığınız yerden devam etmek için taramayı kurtarabilirsiniz. Ayrıca, sıraya alınmış URL’lere (Queued URLs) de erişebilirsiniz.

Eski bir sunucuda barındırılan bir site nasıl taranır veya bir site çökmeden nasıl taranır?

Bazı durumlarda, eski sunucular saniyede varsayılan URL isteği sayısını işleyemeyebilir. Aslında, her durumda bir sitenin sunucusuna çok fazla yük bindirmemek adına saniyede taranacak URL sayısı için bir sınır eklemenizi öneririz. Bilinmeyen “User Agent”lara karşı korumaları olan siteler için, müşteriye taramak için bilgi vermek en iyisidir. Çünkü siteyi taramadan önce IP’nizi veya User Agent (Kullanıcı Aracınızı) beyaz listeye eklemeleri gerekebilir. En kötü senaryo ise sunucuya çok fazla istek göndermeniz ve yanlışlıkla siteyi kilitlemek olabilir. 🙂

Tarama hızınızı değiştirmek için Configuration menüsünde Speed’i seçin ve açılır pencerede, aynı anda çalışması gereken maksimum iş parçacığı (Max Threads) sayısını seçin. Bu menüden, saniyede istenen maksimum URL sayısını da seçebilirsiniz.

İpucu:

Taramanın (crawl etmenin) çok fazla sunucu hatasına yol açtığını tespit ederseniz, Spider Configuration menüsündeki “Advanced (Gelişmiş)” sekmesine gidin ve daha iyi sonuçlar almak için “Response Timeout” ve “5xx Response Retries”in değerini arttırın.

Çerez gerektiren bir site nasıl crawl yapılır?

Arama botları çerezleri kabul etmese de, bir siteyi tarıyorsanız ve çerezlere izin vermeniz gerekiyorsa, Spider Configuration menüsünün “Advanced” sekmesinde “Allow Cookies”i seçin.

Farklı bir User Agent kullanarak tarama

Farklı bir User Agent kullanarak crawling yapmak için, “Configuration” menüsünde “User Agent”ı seçin, ardından açılır menüden bir arama botu seçin veya istediğiniz User Agent dizelerini yazın.

Mobil cihazdan yapılan sorguların Masaüstü kullanımın önüne geçmesinden dolayı, “User Agent” seçiminizi Googlebot Smartphone yapabilirsiniz. 

Googlebot Smartphone spiderını taklit eden siteyi crawl yapmak, Google’ın sitenizin içeriğini tararken ve oluştururken karşılaştığı sorunların belirlenmesine yardımcı olabilir.

Googlebot Smartphone, User Agent değiştirilmiş bir sürümünü kullanmak, sunucu günlüklerini analiz ederken taramanız ile Google’ın taramasını ayırt etmenize yardımcı olur.

Kimlik doğrulaması gerektiren sayfalar nasıl taranır?

Screaming Frog Spider’ı parola korumalı bir sayfaya rastladığında, gerekli kullanıcı adını ve parolayı girebileceğiniz bir “açılır kutu” ortaya çıkar.

Form Tabanlı kimlik doğrulama çok güçlü bir özelliktir ve etkili bir şekilde çalışması için JavaScript rendering gerektirebilir. 

Not: Form Tabanlı kimlik doğrulaması az miktarda ve yalnızca ileri düzey kullanıcılar tarafından kullanılmalıdır. Tarayıcı, bir sayfadaki her bağlantıyı tıklayacak şekilde programlanmıştır, böylece potansiyel olarak oturumunuzu kapatmanıza ve hatta verileri silmenize neden olabilir.

Kimlik doğrulamayı yönetmek için Configuration > Authentication‘a gidin.

Kimlik doğrulama isteklerini kapatmak için, Configuration menüsünden “Authentication” penceresinde “Standards Based Authentication”ın seçimini kaldırın.

Screaming Frog ile Internal ve External Link Analizi

Sitemdeki tüm dahili ve harici bağlantılar hakkında nasıl bilgi alabilirim?

Not: Sitedeki Görselleri, JavaScript, Flash veya CSS’yi kontrol etmeniz gerekmiyorsa, işlem süresini ve kullanılan belleği azaltmak için Spider Configuration menüsündeki bu seçeneklerin seçimini kaldırın. Yukarıda nasıl yapıldığını göstermiştik.

Spider taramayı bitirdikten sonra, All Links‘in CSV’sini dışa aktarmak için Bulk Export menüsünü kullanın. Bu size tüm bağlantı konumlarının yanı sıra ilgili anchor text, directives(talimatları) vb. sağlayacaktır.

Tüm iç linkler büyük bir rapor olabilir. Dışa aktarırken buna dikkat edin. Büyük bir site için bu dışa aktarmanın çalışması birkaç dakika sürebilir.

Her sayfadaki bağlantı sayısının hızlı bir şekilde hesaplanması için ‘Internal’ sekmesine gidin ve ‘Outlinks’e göre sıralayın. 100’ün üzerindeki her şeyin gözden geçirilmesi gerekebilir.

Sayfada veya sitede bozuk internal (dahili) linkler nasıl bulunur?

Sitenin Görsellerini (Images), JavaScript’i, Flash’ı veya CSS’sini kontrol etmeniz gerekmiyorsa, işlem süresini ve belleğini kaydetmek için Spider Configuration menüsündeki bu seçeneklerin seçimini kaldırın.

Spider taramayı bitirdikten sonra, ‘Internal’ sekme sonuçlarını “Status Code”a göre sıralayın. Tüm 404‘ler, 301‘ler veya diğer durum kodları kolayca görüntülenebilir.

Tarama sonuçlarında herhangi bir URL’yi tıkladığınızda, programın alt penceresinde bilgi değişikliği görürsünüz. Alt penceredeki “In Links” sekmesini tıklayarak, seçilen URL’ye bağlantı veren sayfaların bir listesini ve bu bağlantılarda kullanılan Anchor Textleri ve talimatları bulacaksınız. Internal bağlantıların güncellenmesi gereken sayfaları tanımlamak için bu özelliği kullanabilirsiniz.

Bozuk veya yönlendirilmiş bağlantılar içeren sayfaların tam listesini dışa aktarmak için “Advanced Export” menüsünde “Redirection (3xx) In Links” veya “Client Error (4xx) In Links” veya “Server Error (5xx) In Links” seçeneklerini seçebilir ve verilerin CSV dışa aktarılmasını sağlayabilirsiniz.

Bozuk veya yönlendirilmiş bağlantılar içeren sayfaların tam listesini dışa aktarmak için Bulk Export menüsünü ziyaret edin. “Response Codes”a tıklayıp aşağıdaki raporları alabilirsiniz:

  • No Response Inlinks
  • Redirection (3xx) Inlinks
  • Redirection (JavaScript) Inlinks
  • Redirection (Meta Refresh) Inlinks
  • Client Error (4xx) Inlinks
  • Server Error (5xx) Inlinks

Kırık linkleri tespit etmek için seçeneklere göre raporları indirebilirsiniz.

Site dışına verilen bağlantılar nasıl bulunur?

Spider Configuration ayarlarında “Images”, “CSS”, “JavaScript” ve “SWF”in seçimini kaldırdıktan sonra “ External Links”in seçili olduğundan emin olun.

Spider taramayı bitirdikten sonra, üst penceredeki “External” sekmesini tıklayın, “Status Code”a göre sıralayın ve 200’den farklı durum kodlarına sahip URL’leri kolayca bulabilirsiniz. sonuçları tarayın ve ardından alt pencerede ‘In Links’ sekmesini tıkladığınızda, seçilen URL’yi gösteren sayfaların bir listesini bulacaksınız. Giden bağlantıların güncellenmesi gereken sayfaları tanımlamak için bu özelliği kullanabilirsiniz.

Giden bağlantıların tam listesini dışa aktarmak için Bulk Export sekmesinde “External Links”ı tıklayın.

Tüm konumların tam listesi ve giden bağlantıların metnini eklemek için the “Bulk Export” menüsünde “All Outlinks”i seçin. All Outlinks raporu, subdomainlerinize giden bağlantılar da içerir; subdomainlerinizi hariç tutmak istiyorsanız, yukarıda belirtilen “External Links” raporuna bakabilirsiniz.

Siteniz içerisinde bulunan yönlenen (Redirect) bağlantılar nasıl tespit edilir?

Spider tarama yapmayı bitirdikten sonra, ana kullanıcı arayüzünden “Response Codes” sekmesini seçin ve Status Code’a göre filtreleyin. Screaming Frog arama için Regular Expressions kullandığından, aşağıdaki ölçütleri filtre olarak gönderin: 301 | 302 | 307. Bu, içeriğin HSTS ayarları nedeniyle kalıcı olarak taşınması, bulunması ve yeniden yönlendirilmesi ya da geçici olarak yeniden yönlendirilmesi gibi bir tür yönlendirmeyle geri gelen tüm bağlantıların oldukça sağlam bir listesini vermelidir (bu, Screaming Frog’daki 307 yönlendirmelerinin olası nedenidir.). “Status Code”a göre sıraladığınızda, sonuçları türe göre bölebilirsiniz. Yönlendirme bağlantısının kullanıldığı tüm sayfaları görüntülemek için alt penceredeki ‘In Links’ sekmesini tıklayın.

Doğrudan bu sekmeden dışa aktarırsanız, yalnızca üst pencerede gösterilen verileri (orijinal URL, durum kodu ve nereye yönlendirildiğini) görürsünüz.

Yeniden yönlendirilmiş bağlantılar içeren sayfaların tam listesini dışa aktarmak için, “Advanced Export” menüsünde “Redirection (3xx) In Links” seçeneğine tıklayabilirsiniz. Bu, yeniden yönlendirilen tüm bağlantılarınızın konumunu içeren bir CSV dosya elde edersiniz. Yalnızca dahili yönlendirmeleri göstermek için CSV’deki “Destination” sütununu sadece alan adınızı içerecek şekilde filtreleyin.

İpucu:

Source ve Destination sütunlarını nihai URL konumuyla eşleştirmek için yukarıdaki 2 dışa aktarma dosyası arasında bir VLOOKUP formülü kullanın.

Örnek formül:

=VLOOKUP([@Destination],’response_codes_redirection_(3xx).csv’!$A$3:$F$50,6,FALSE)

(“Response_codes_redirection_ (3xx) .csv”, yönlendirme URL’lerini içeren CSV dosyasıdır ve “50” bu dosyadaki satır sayısıdır.)

Screaming Frog ile Site İçeriği Analizi

Zayıf içeriğe sahip sayfalar nasıl belirlenir?

Spider taramayı bitirdikten sonra, ‘Internal’ sekmesine gidin, HTML’ye göre filtreleyin, ardından “Word Count” sütununa sağa kaydırın. Metin içeriği düşük sayfaları bulmak için “Word Count” sütununu düşükten yükseğe doğru sıralayın. Düşük kelime sayısı değerlerini uygun URL’lerle daha iyi eşleştirmek için “Word Count” sütununu sola sürükleyip bırakabilirsiniz. Bunun yerine bir CSV’deki verileri işlemeyi tercih ediyorsanız ‘Internal’ sekmesinde “Export”ı tıklayın.

E-ticaret Siteleri için İpucu:

Yukarıdaki kelime sayımı yöntemi sayfadaki gerçek metni ölçecek olsa da, bulunan metnin yalnızca ürün adları mı yoksa metnin anahtar kelime için optimize edilmiş bir kopya bloğunda mı olduğunu anlamanın bir yolu yoktur. Metin bloklarınızın kelime sayısını anlamak için, herhangi bir sayfa listesindeki metin bloklarını scraping yapmak için Xpath’leri kullanın, ardından karakterleri sayın. XPath sorguları sizin için uygun değilse, Xpather Chrome veya Xpath Helper Chrome uzantısını xPath’i bulmak için kullanabilirsiniz.

Belirli bir sayfadaki görsel bağlantılarının (image links) bir listesini nasıl alabilirim?

Bir sitenin tamamını veya alt klasörü zaten taradıysanız, üst pencerede sayfayı seçin, ardından o sayfada bulunan tüm resimleri görüntülemek için alt penceredeki “Image Details” sekmesini tıklayın. Görüntüler “To”sütununda listelenir.

İpucu:

Bir URL’yi kopyalamak veya açmak için alt penceredeki herhangi bir girişe sağ tıklayın.

Alternatif olarak, yalnızca bu URL’yi tarayarak resimleri tek bir sayfada da görüntüleyebilirsiniz. Crawling derinliğinin Spider Configuration ayarlarında “1” olarak ayarlandığından emin olun, ardından sayfa tarandıktan sonra ‘Images’ sekmesini tıklayın ve spider’ın bulduğu resimleri göreceksiniz.

Alternatif metni (Alt Text) eksik olan resimler veya alternatif metni uzun olan resimler nasıl bulunur?

İlk olarak, Spider Configuration menüsünde “Check Images” in seçili olduğundan emin oluyoruz. Spider taramayı bitirdikten sonra, “Images” sekmesine gidin ve “Missing Alt Text” veya “Alt Text Over 100 Characters” ile filtreleyin. Herhangi bir görüntünün bulunduğu sayfaları alt penceredeki “Image Info” sekmesini tıklayarak bulabilirsiniz. Sayfalar ‘From’ sütununda listelenir.

Son olarak, bir CSV dosya istiyorsanız, görüntülerin tam listesini, bulundukları yeri ve ilişkili diğer alt metinleri veya alt ile ilgili sorunları görmek için “All Images” veya “Images Missing Alt Text Inlinks”i dışa aktarmak için “Bulk Export” menüsünü kullanabilirsiniz.

Ayrıca, tarama sonrasında Bulk Exports > Images bölümüne giderek alternatif metni eksik olan tüm görüntülerin listesini kolayca dışa aktarabilirsiniz.

Sitemdeki bütün CSS dosyalarını nasıl bulabilirim?

Spider Configuration menüsünde Resource Links altında bulunan CSS kısmında CRawl ve Store özelliklerinin seçili olduğundan emin olun, ardından tarama tamamlandığında “Internal” sekmesinden CSS’e göre sonuçları filtreleyin.

Sitemdeki bütün JavaScript dosyalarını nasıl bulabilirim?

Spider Configuration menüsünde, taramadan önce “JavaScript”i seçin, ardından tarama tamamlandığında “Internal” sekmesinden “JavaScript” ile sonuçları filtreleyin.

Sitede kullanılan tüm jQuery eklentilerini ve hangi sayfalarda kullanıldığını nasıl belirleyebilirim?

İlk olarak, Spider Configuration menüsünde “JavaScript”in seçili olduğundan emin olun. Spider taramayı bitirdikten sonra, “Internal” sekmesini “JavaScript”e göre filtreleyin, ardından “jquery” yi arayın. Bu size eklenti dosyalarının bir listesini sağlayacaktır. Gerekirse daha kolay görüntülemek için listeyi “Address”e göre sıralayın, ardından alttaki pencerede “InLinks”i görüntüleyin veya dosyanın kullanıldığı sayfaları bulmak için verileri bir CSV’ye aktarın. Bunlar “From” sütununda olacaktır.

Alternatif olarak, “All Links”in CSV’sini dışa aktarmak için “Advanced Export” menüsünü kullanabilir ve yalnızca “jquery” içeren URL’leri göstermek için “Destination” sütununa filtre uygulayabilirsiniz.

Sitede yer alan Flash içerikleri nasıl bulabilirim?

Spider Configuration menüsünde, tarama yapmadandan önce “SWF”i seçin, ardından crawling tamamlandığında “Internal” sekmesinde “Flash” ile sonuçları filtreleyin.

Bu, Flash tarafından sunulan içeriği bulmak ve tanımlamak ve içerik için alternatif kod önermek için önemlidir. Chrome, Flash’ı kullanımdan kaldırma sürecindedir; bu, bir sitede kritik içerik ve Flash ile ilgili sorunlar olup olmadığını vurgulamak için kullanılması gereken bir şeydir.

Not: Bu yöntem yalnızca bir sayfaya bağlı olan .SWF dosyalarını bulur. Flash JavaScript üzerinden içeri çekilirse, özel bir filtre kullanmanız gerekir.

Siteye bağlı dahili PDF’ler nasıl bulunur?

Spider taramayı bitirdikten sonra, ‘Internal’ sekmesinde ‘PDF’ ile sonuçları filtreleyin.

Sosyal medya paylaşım butonları olan sayfalar nasıl bulunur?

Sosyal medya paylaşım butonları içeren sayfaları bulmak için, spider çalıştırmadan önce özel bir filtre ayarlamanız gerekir. Özel bir filtre ayarlamak için Configuration menüsüne gidin ve “Custom > Search”a tıklayın. Oradan, sayfa kaynağından herhangi bir kod snippet’i girin.

Yukarıdaki örnekte, Facebook benzeri bir buton içeren sayfaları bulmak istedim, bu yüzden facebook.com/plugins/like.php için bir filtre oluşturdum. 

Bunu Xpath ile de yapabiliriz. Tek yapmanız gereken sosyal medya paylaşım butonu içeren elementin Xpathini almak veCconfiguration > Custom > Extraction ile belirlenen butonların olduğu sayfalara ulaşabilirsiniz.

<Iframe> kullanan sayfalar nasıl bulunur?

Iframe kullanan sayfaları bulmak için, Spider çalıştırmadan önce <iframe> için özel bir filtre ayarlayın.

Bunu yapabilmek için bir önceki başlıkta yer alan Custom > Extraction özelliğinden yararlanabiliriz. “Configuration > Custom > Extraction”a girip iframe’in XPath kodunu yazdığımızda iframe kullanan sayfaları bulmuş oluruz.

İçeriği yerleştirilmiş video veya ses içeriği içeren sayfalar nasıl bulunur?

Gömülü video (Embedded Video) veya ses içeriği içeren sayfaları bulmak için, Youtube veya sitede kullanılan diğer medya oynatıcıları için gömme kod pasajı için özel bir filtre ayarlayın.

Bunu uygulamak için: Configuration > Custom > Extraction

Aramak istediğimiz videonun XPath’ini alıp sayfalarda videonun olup olmadığını kontrol edebiliriz.

Meta Veriler (Data) ve Talimatlar (Directives)

Uzun sayfa başlıkları, meta açıklamaları veya URL adresleri olan sayfaları nasıl belirleriz?

Spider taramayı bitirdikten sonra, “Page Titles” sekmesine gidin ve çok uzun sayfa başlıklarını görmek için 60’tan fazla karaktere göre filtreleyin. “Meta Description” sekmesinde veya “URI” sekmesinde de aynısını yapabilirsiniz.

Duplicate sayfa başlıkları (Title), meta açıklamalar (Description) veya URL adresleri nasıl bulunur?

Spider taramayı bitirdikten sonra “Page Titles” sekmesine gidin, ardından “Duplicate”e göre filtreleyin. Aynı şeyi “Meta Description” veya “URI” sekmelerinde de yapabilirsiniz.

Yeniden yazılması, yeniden yönlendirilmesi, standartlaştırılması gereken yinelenen içerik ve URL adresleri nasıl bulunur?

Spider taramayı bitirdikten sonra “URL” sekmesine gidin, ardından daha standart bir yapıya yeniden yazılabilecek URL adreslerini görüntülemek için “Underscores”, “Uppercase” veya “Non ASCII Characters”a göre filtreleyin. “Duplicate”e göre filtrelerseniz; birden çok URL sürümüne sahip tüm sayfaları görürsünüz. “Parameters”a göre filtrelerseniz; parametreleri içeren URL adreslerini görürsünüz.

Ayrıca, “Internal” sekmesine gidip HTML’ye göre filtreleyin ve en sağdaki “Hash” sütununa gidin, her sayfa için benzersiz bir harf ve rakam dizisi görürsünüz. 

Meta yönergeleri içeren tüm sayfalar nasıl tanımlanır?

Spider taramayı bitirdikten sonra “Directives” sekmesini tıklayın. Yönerge türünü görmek için bunu yaparız sonrasında ise hangi sütunların doldurulduğunu görmek için sağa kaydırın veya aşağıdaki etiketlerden birini bulmak için filtreyi kullanın:

  • Index
  • Noindex
  • Follow
  • Nofollow
  • NoArchive
  • NoSnippet
  • NoODP
  • NoYDIR
  • NoImageIndex
  • NoTranslate
  • Unavailable_After
  • Refresh

Robots.txt dosyasının istendiği gibi çalıştığını nasıl doğrulayabilirim?

 Screaming Frog robots.txt dosyasında yer alan talimatları takip eder. robots.txt dosyanıza botlar için hangi talimatlar verilmişse o işlemi uygular. Örneğin, GoogleBot için belirli bir sayfayı taramama (Disallow) komutu girdiğinizde Screaming Frog’un User Agent’ını GoogleBot olarak seçerseniz o sayfa Spider tarafından taranmaz. Yani göz ardı edilir. Robots.txt dosyasını yok saymak istiyorsanız, Spider Configuration ayarlarında bu seçeneği belirtmeniz yeterlidir.

Configuration> Robots.txt > Settings

Sitemdeki yapısal veri (Scheme) işaretlemesini ve diğer mikro verileri nasıl bulabilirim veya doğrulayabilirim?

Şema işaretlemesi veya başka bir mikro veri içeren her sayfayı bulmak için özel filtreler kullanmanız gerekir. Configuration Menüsünde “Custom” → “Search”ü tıklayın ve aradığınız alanı girin.

Şema işaretlemesi içeren her sayfayı bulmak için özel bir filtreye aşağıdaki kod snippet’ini eklemeniz yeterlidir: itemtype = http: //schema.org

Belirli bir biçimlendirme türü bulmak için daha belirgin olmanız gerekir. Örneğin, ‹span itemprop =’ ratingValue ‘› için özel bir filtre kullanmak, derecelendirmeler için Şema işaretlemesi içeren tüm sayfaları size getirir.

Screaming Frog 11.0’dan itibaren, SEO Spider bize yapılandırılmış verileri doğrudan tarama, çıkarma ve doğrulama olanağı da sunar. Tarama yaparken Schema.org’un yönergelerine ve Google’ın spesifikasyonlarına göre JSON-LD, Mikro veri veya RDFa yapılandırılmış tüm verilerini gerçek zamanlı olarak doğrulayın. Yapısal veri doğrulama araçlarına erişmek için Configuration > Spider > Extraction altındaki seçenekleri seçin.

Artık ana arayüzde, yapılandırılmış veri içeren, yapılandırılmış veri içermeyen ve doğrulama hataları veya uyarıları olabilen sayfalar arasında geçiş yapmanıza izin verecek bir Structured Data sekmesi bulunmaktadır:

Ayrıca, ‘Reports > Structured Data > Validation Errors & Warnings’ sayfasını ziyaret ederek yapılandırılmış verilerle ilgili sorunları dışa aktarabilirsiniz.

Tabii ki Screaming Frog bu kadar ile bitmiyor. Yazının devamı için aşağıda yer alan linkten 2. bölüme ulaşabilirsiniz.

Yazının ikinci bölümünü okumak için tıklayınız.

Yorumlar
İlginizi Çekebilir