Eylül 21st, 2020

Screaming Frog ile SEO Analizi – 2. Bölüm

Screaming Frog ile Site Haritası Analizi

XML Site Haritası nasıl oluşturulur?

Spider sitenizi taramayı bitirdikten sonra, “Sitemaps” menüsünü tıklayın ve “XML Sitemap”i seçin.

XML sitemap configuration ayarlarını açtıktan sonra, yanıt kodlarına, son değiştirilene, önceliğe, sıklığı değiştirmeye, resimlere vb. Göre sayfaları ekleyebilir veya hariç tutabilirsiniz. Varsayılan olarak, Screaming Frog yalnızca 2xx URL içerir, ancak her zaman bir kez daha kontrol etmekte fayda vardır.

İdeal olarak, XML site haritanızda, parametreler veya diğer yinelenen faktörler olmadan, her bir URL’nin yalnızca 200 durum, tek, tercih edilen (canonical) sürümü bulunmalıdır. Herhangi bir değişiklik yapıldıktan sonra OK’a basın. XML site haritası dosyası cihazınıza indirilir ve adlandırma kuralını istediğiniz gibi düzenlemenize olanak tanır.

URL Adreslerini Yükleyerek XML Site Haritası Oluşturma

Mevcut bir dosyadan URL Adreslerini yükleyerek veya Screaming Frog’a manuel olarak yapıştırarak da bir XML site haritası oluşturabilirsiniz.

Üs sekmelerden ‘Mode‘u Spider’dan List‘e göre ayarlayın ve iki seçeneği de seçmek için Upload açılır menüsünü tıklayın. Ardından site haritası oluşturmak istediğiniz URL adreslerini “Enter Manually” seçeneğine tıklayarak açılan bölüme yapıştırın.

Başlat düğmesine basın ve Screaming Frog yüklenen URL’leri tarar. URL’ler tarandıktan sonra, yukarıda listelenen işlemlerin aynısını uygularsınız.

Mevcut XML Site Haritamı kontrol etme

Herhangi bir hatayı veya tarama tutarsızlığını kontrol etmek için mevcut XML site haritanızı veya site haritası dizininizi kolayca indirebilirsiniz.

Screaming Frog’daki “Mode” menüsüne gidin ve “List”i seçin. Ardından, ekranın üst kısmındaki Upload‘ı tıklayın, “Download Sitemap” veya “Download Sitemap Index”i seçin, site haritası URL’sini girin ve taramayı başlatın. Spider taramayı bitirdikten sonra, yönlendirmeleri, 404 hatalarını, çoğaltılan URL’leri ve daha fazlasını bulabilirsiniz. Tespit edilen hataları ve kolayca dışa aktarabilirsiniz.

XML Site Haritasında Eksik Sayfaları Belirleme

Tarama ayarlarınızı, XML site haritalarınızdaki URL’leri, site tarama sonucundaki URL’lerle keşfedecek ve karşılaştıracak şekilde yapılandırabilirsiniz.

Ana gezinme panelinde Configuration > Spider’a gidin ve alttaki XML site haritaları için seçenekleri göreceksiniz. XML ​​site haritalarını robots.txt dosyanız aracılığıyla otomatik olarak keşfedebilir veya XML site haritası bağlantısını kutuya manuel olarak girebilirsiniz. Ben genelde manuel olarak giriyorum.

* Önemli NOT: robots.txt dosyanız taranmasını istediğiniz tüm XML site haritasına uygun hedef bağlantıları içermiyorsa, bunları manuel olarak girmelisiniz.

XML Site Haritası crawling ayarlarınızı güncelledikten sonra, gezinme panelinde “Crawl Analysis”e gidin, “Configure”ü tıklayın ve Site Haritaları düğmesinin işaretli olduğundan emin olun. Önce tam site taramanızı çalıştırmak, ardından “Crawling Analizi”ne geri dönüp Başlat’a tıklayıp devam edebilirsiniz.

Tarama Analizi tamamlandıktan sonra, XML site haritasında eksik olan tam site taraması içinde tespit edilen URL’ler gibi tarama tutarsızlıklarını görebilirsiniz.

Screaming Frog ile Sitedeki Sorunları Tespit Etme

Sitemdeki belirli bölümlerin neden dizine eklenmediğini veya sıralanmadığını nasıl belirleyebilirim?

Belirli sayfaların neden dizine eklenmediğini mi merak ediyorsunuz? İlk olarak, yanlışlıkla robots.txt dosyasına yerleştirilmediğinden veya noindex olarak etiketlenmediklerinden emin olun. Ardından, dahili bağlantılarınızı kontrol ederek Spider’ların sayfalara ulaşabildiğinden emin olmak istersiniz. Sitenizde herhangi bir yere dahili olarak bağlı olmayan bir sayfaya genellikle Orphaned Page (botların ulaşamadığı sayfalardır.) denir.

Artık kalan sayfaları tanımlamak için aşağıdaki adımları izleyin:

“Configuration → API Access” → “Google Analytics (GA)”e gidin ve API‘yı kullanarak belirli bir hesap ve görünüm için analiz verilerini çekebilirsiniz. Organik aramadaki orphaned sayfaları bulmak için “Organic Traffic”e göre bölümlere ayırdığınızdan emin olun.

GA’da bulunan URL adreslerinin tam site taramasına dahil edilmesini istiyorsanız General → Crawl New URLs Discovered In Google Analytics seçeneğine de gidebilirsiniz. Bu etkinleştirilmezse, yalnızca Orphaned Pages raporunda GA’dan alınan yeni URL’leri görüntüleyebilirsiniz.

“Configuration →  API Access → Google Search Console”una gidin – belirli bir hesap ve görünüm için GSC verilerini çekebileceğiniz API’yı kullanarak. Orphaned sayfaları bulmak için, crawlınıza dahil olmayan tıklama ve gösterim alan URL’leri arayabilirsiniz.

GSC’de bulunan URL adreslerinin tam site taramasına dahil edilmesini istiyorsanız General → Crawl New URLs Discovered In Google Search Console’ seçeneğine de gidebilirsiniz. Bu etkinleştirilmezse, Yalnızca Orphaned Sayfaları raporunda GSC’den alınan yeni URL adreslerini görüntüleyebilirsiniz.

Tüm web sitesini tarayın. Tarama tamamlandığında, “Crawling Analizi > Başlat”a tıklayın ve bitmesini bekleyin.

Her sekmedeki artık URL adreslerini görüntüleyin veya Reports → Orphaned Pages‘a giderek artık tüm URL’leri toplu olarak dışa aktarın.

Google Analytics veya GSC’ye erişiminiz yoksa, dahili URL’ler listesini “Internal” sekmesindeki “HTML” filtresini kullanarak .CSV dosyası olarak dışa aktarabilirsiniz.

CSV dosyasını açın ve ikinci bir sayfaya dizine eklenmeyen veya iyi sıralanmayan URL adreslerinin listesini yapıştırın. İkinci sayfadaki listenizdeki URL adreslerinin taramada bulunup bulunmadığını görmek için bir VLOOKUP kullanın.

Domain taşımanın doğru bir şekilde gerçekleştiğinden nasıl emin olabilirim?

Durum kodlarını (status code) kontrol ederek site taşıma işleminin durumu kontrol edilebilir. “List” modunu kullanarak eski URL’lerin yönlendirilip yönlendirilmediğini kontrol edebiliriz. Örneğin eski URL’ler 404’ler atıyorsa bu URL adreslerinde bir sorun olduğu anlamına gelir. 404 hatası veren bu URL adreslerine yönlendirme yaparak bunu çözebiliriz.

Ek bilgi: Screaming Frog ile aldığımız, 3xx yönlendirme raporunda, zincir bir yapı olmadığını görürüz. Yani Screaming Frog sadece durumunu öğrenmek istediğimiz URL adresinin hangi adrese yönlendiğini gösterir. Bazı durumlarda ise yönlendirme zinciri oluşur ve 3xx yönlendirme raporunda göremeyiz. Yönlendirme zinciri olup olmadığını görmek için iki seçeneğimiz vardır. Manuel kontrol ile 3xx yönlendirmelerini kontrol edebiliriz. Diğer yöntem ise Screaming Frog da yer alan Redirect Chains raporuna bakmaktır. Domain taşıma işleminde yönlendirmelerin doğru olduğundan emin olmak için redirect chains raporuna bakmakta fayda var.

Sitemde yavaş yüklenen sayfaları nasıl bulabilirim?

Spider taramayı bitirdikten sonra, “Response Codes” sekmesine gidin ve yavaş yükleme hızından muzdarip olabilecek sayfaları bulmak için “Response Time” sütununa göre yüksekten düşüğe doğru sıralayın.

Sitenin kaynak koduna eklenen Spam veya zararlı linkler nasıl bulunur?

Sitemiz hacklenmiş olabilir veya virüs bulaşmış olabilir ve yapılan bu saldırılar da sitemizden dışarıya link veriyor olabilir. Screaming Frog ile bu spamleri tespit edebilir ve kaldırabiliriz.

İlk olarak, kötü amaçlı yazılımın veya spamin kapladığı alanı tanımlamanız gerekir. Ardından, Configuration menüsünde ‘Custom → Search’ yı tıklayın ve aradığınız kelime ya da linki girin.

Tarama başına en fazla 10 farklı kelime ya da link girebilirsiniz. Son olarak OK’a basın ve siteyi veya sayfa listesini taramaya devam edin.

Spider taramayı bitirdiğinde girdiğiniz kelime ya da linki içeren tüm sayfaları görüntülemek için üst pencerede “Custom” sekmesini seçin. Birden fazla özel filtre girdiyseniz sonuçlardaki filtreyi değiştirerek her birini görüntüleyebilirsiniz.

Google Analytics ve Reklam Bağlantılarının Analizi

Google Analytics kodumun her sayfada veya sitemdeki belirli bir sayfa grubunda bulunduğunu nasıl kontrol edebilirim?

Bir web sitesinin her sayfasında doğru Google Analytics kodunun bulunduğundan emin olmak için Screaming Frog’u düzenli olarak kullanıyorum. Kodun ana sayfada olması, her sayfada aynı kodun olduğu anlamına gelmez. Bazı sayfaların kodu tamamen eksikken, diğerleri farklı sürümlere sahip olabilir.

Configuration > Custom > Search seçerek başlayın.

Filtrelerde ne aramak istediğinizi belirleyin. Yukarıda yer alan örnekte analytics numaralarını girdiğimizi görüyoruz. 

Ayarları yaptıktan sonra Screaming Frog’a URL adresini girin ve Başlat’a basın.

Reklam amaçlı kullandığımız URL adreslerinin bir listesini toplu olarak nasıl kontrol edebilirim?

Listenizi .txt veya .csv biçiminde kaydedin, ardından “Mode” ayarlarınızı “List” olarak değiştirin.

Ardından, yüklenecek dosyanızı seçin ve ‘Start’a basın veya listenizi manuel olarak (Enter manually) Screaming Frog’a yapıştırın. ‘Internal’ sekmesine bakarak her sayfanın durum kodunun (Status Code) kontrolünü sağlamış oluruz.

Scraping

Belirli bir kelime içeren sayfaları nasıl bulurum?

İlk olarak, footprint’i tanımlamanız gerekir. Ardından, Configuration menüsünde ‘Custom → Search‘ veya ‘Extraction‘ı tıklayın ve aradığınız kelime  girin. Extraction ile tarama yapmak isterseniz CSS selektörü ya da Xpath girmeniz gerekecektir.

Tarama başına en fazla 10 farklı kelime ya da link girebilirsiniz. Son olarak OK’a basın ve siteyi veya sayfa listesini taramaya devam edin. Aşağıdaki örnekte, SEO ve CSR kelimeleri geçen tüm sayfaları bulmak istedik, bu yüzden kelimeleri girip taramayı gerçekleştirdik.

Spider taramayı bitirdiğinde, footprint’inizi içeren tüm sayfaları görüntülemek için üst pencerede “Custom” sekmesini seçin. Birden fazla özel filtre girdiyseniz, sonuçlardaki filtreyi değiştirerek her birini görüntüleyebilirsiniz.

İpucu:

Bir istemci sitesinden ürün verileri alıyorsanız, istemciden verileri doğrudan veritabanından almasını isteyerek zaman kazanabilirsiniz. Yukarıdaki yöntem, doğrudan erişiminiz olmayan siteler içindir.

Screaming Frog ile URL Düzenleme İşlemleri

Taranan URL adreslerimdeki oturum kimliği veya diğer parametreleri bulma ve kaldırma işlemini nasıl yapabilirim?

Oturum kimliklerine veya diğer parametrelere sahip URL adreslerini tanımlamak için sitenizi varsayılan ayarlarla taranması yeterlidir. Spider bittiğinde, ‘URI’ sekmesini tıklayın ve parametreleri içeren tüm URL’leri görüntülemek için ‘Parametreler‘ e filtre uygulayın.

Taradığınız URL’ler için parametrelerin gösterilmesini kaldırmak için yapılandırma menüsünde ‘URL Rewriting’i seçin, ardından ‘Remove Parameters’ sekmesinde, URL’lerden kaldırılmasını istediğiniz parametreleri eklemek için ‘Add’ tıklayın ve rewriting işleminin gerçekleşmesi için spiderı bu ayarlarla tekrar çalıştırmanız gerekir.

Taranan URL adreslerinin uzantıları nasıl değiştirilir?

Taradığınız herhangi bir URL’nin uzantısını değiştirmek için Configuration menüsünde “URL Rewriting”i seçin, ardından “Regex Replace” sekmesinde, değiştirmek istediğiniz şeye RegEx’i eklemek için “Add” yi tıklayın.

İstenen kuralların tümünü ekledikten sonra, “URL before rewriting” etiketli alana bir test URL adresi girerek kurallarınızı “Test” sekmesinde test edebilirsiniz. “URL after rewriting”, kurallarınıza göre otomatik olarak güncellenecektir.

Tüm URL adreslerinin küçük harfle döndürülmesine ilişkin bir kural eklemek istiyorsanız, “Options” sekmesinde “Lowercase discovered URLs”i seçin. Bu işlem, taramadaki büyük harfli URL’lerin çoğaltılmasını kaldıracaktır.

Screaming Frog ile Anahtar Kelime Araştırması

Rakiplerimin en çok hangi sayfalara değer verdiğini nasıl öğrenebilirim?

Genel olarak, rakipler bağlantı popülerliğini yaymaya ve dahili olarak bağlantı kurarak en değerli sayfalarına trafik çekmeye çalışacaktır. Herhangi bir SEO yapan rakip muhtemelen şirket bloglarından önemli sayfalara bağlantı verecektir. Sitelerini tarayarak ve ardından hangi sayfaların en fazla dahili bağlantıya sahip olduğunu görmek için ‘Internal’ sekmesini ‘Inlinks’ sütununa göre en yüksekten en düşüğe doğru sıralayarak rakibinizin önemli sayfalarını bulun.

Rakibinizin blogundan bağlantı verilen sayfaları görüntülemek için Spider Configuration menüsünde “Check links outside folder” seçimini kaldırın ve blog klasörünü / subdomain adresini tarayın. Ardından, “External” sekmesinde, ana alanın URL adresini kullanarak bir arama yaparak sonuçlarınıza filtre uygulayın. Hangi sayfaların en fazla bağlantı eklendiğini görmek için en sağa kaydırın ve listeyi “Inlinks” sütununa göre sıralayın.

Rakiplerimin iç linkleme yaparken hangi metinleri (Anchor Text) kullandığını nasıl öğrenebilirim?

“Bulk Export” menüsünde, sitedeki tüm bağlantı metnini, nerede kullanıldığını ve neyle bağlantılı olduğunu içeren bir CSV’yi dışa aktarmak için “All Anchor Text”i seçin.

Rakiplerimin sayfalarına hangi meta anahtar kelimeleri eklediğini nasıl öğrenebilirim?

Spider çalışmayı bitirdikten sonra, her sayfa için bulunan meta anahtar kelimeleri görmek için ‘Meta Keywords’ sekmesine bakın. Listeyi alfabetikleştirmek ve boş girişleri görsel olarak ayırmak için or ‘Meta Keyword 1’ sütununa göre sıralayın veya tüm listeyi dışa aktarın.

Screaming Frog ile Site Dışı Bağlantı Analizi

Dışarıya verilen bağlantılar nasıl analiz edilir?

İncelenmesi gereken URL adreslerinin bir listesini scrape yaptıysanız veya başka bir şekilde bulduysanız, sayfalar hakkında daha fazla bilgi toplamak için bunları “List” modunda yükleyebilir ve tarayabilirsiniz. Spider crawling yapmayı bitirdiğinde, “Response Codes” sekmesinde durum kodlarını kontrol edin ve alt penceredeki “Outlinks” sekmesindeki giden bağlantıları, bağlantı türlerini, bağlantı metnini ve nofollow yönergelerini inceleyin. Bu size, bu sayfaların hangi tür sitelere bağlandığı ve nasıl bağlandığı hakkında bir fikir verecektir. “Outlinks” sekmesini incelemek için, ilgili URL’nizin üst pencerede seçildiğinden emin olun.

“Bulk Export Menu”sündeki “All Outlinks”i tıklayarak çıkış bağlantılarının tam listesini dışa aktarabilirsiniz. Bu size yalnızca harici sitelere giden bağlantıları sağlamakla kalmaz, aynı zamanda listenizdeki sayfalardaki tüm internal linkleri de gösterir.

Backlink doğrulama ve bağlantı metnini görüntüleme

Backlink listenizi ekleyin ve spider’ı “List” modunda çalıştırın. Ardından, “Advanced Export Menu”sünde yer alan “All External Links”i tıklayarak outbound linklerin tam listesini Export edin. Bu, URL’leri ve bu sayfalardaki tüm bağlantılar için anchor text/alt text metinlerini gösterir. Ardından, sitenizin bağlı olup olmadığını ve hangi anchor text/alt text dahil edileceğini belirlemek için CSV’nin ‘Destination’ sütununda bir filtre kullanabilirsiniz.

Bonus

Sonuçların yer aldığı pencerede herhangi bir URL adresine sağ tıklayarak aşağıda sıralanan eylemleri gerçekleştirebilirsiniz.

• URL adresini kopyalayın veya açın
• URL adresini yeniden tarayın veya taramanızdan kaldırın
• Bu sayfa için URL Bilgilerini, In Links veya Resim Bilgilerini Dışa Aktar
• Sayfanın Google, Bing ve Yahoo’daki dizinini kontrol edin
•  Majestic, OSE, Ahrefs ve Blekko‘daki sayfanın geri bağlantılarını kontrol edin
• Sayfanın önbelleğe alınmış sürümüne / önbellek tarihine bakın
•  Sayfanın eski sürümlerine bakın
•  Sayfanın HTML’sini kontrol edin
•  Sayfanın bulunduğu alan için robots.txt dosyasını açın
• Aynı IP’deki diğer alanları arayın

Meta Verileri Düzenleme

SERP Modu, meta verilerinizin arama sonuçlarında nasıl görüneceğini görsel olarak göstermek için SERP Snippet’lerini cihaza göre ön izlemenize olanak tanır.

Bir .CSV veya Excel belgesi kullanarak Screaming Frog’a URL adresleri, başlıkları ve meta açıklamaları yükleyin.

Siteniz için zaten bir crawling yaptıysanız, “Reports → SERP Summary” bölümüne giderek URL adresleri dışa aktarabilirsiniz. Bu, yeniden yüklemek ve düzenlemek istediğiniz URL’leri ve metaları kolayca biçimlendirir.

• Mode → SERP → Upload File
• Screaming Frog içindeki meta verileri düzenle
•  Güncellenen meta verilerini toplu olarak güncelleyerek doğrudan geliştiricilere gönderin

JavaScript Framework’ü ile Geliştirilmiş Web Sitesini Nasıl Taramalıyız?

Web sitelerinin Angular, React, vb. Gibi JavaScript çerçeveleri kullanılarak oluşturulması giderek yaygınlaşmaktadır. Google, Googlebot hala javascript içeriğini taramaya çalışırken bir rendering çözümü kullanmanızı şiddetle tavsiye etmektedir. Javascript kullanılarak oluşturulmuş bir web sitesi belirlediyseniz, web sitesini crawl yapmak için aşağıdaki talimatları izleyin.

·        “Configuration →  Spider → Rendering → JavaScript”

·        Oluşturma tercihlerini aradığınıza bağlı olarak değiştirin. Zaman aşımı süresini, pencere boyutunu (mobil, tablet, masaüstü vb.) Ayarlayabilirsiniz.

·        OK’a basın ve web sitesini crawl yapın.

Alttaki gezinme panelinde, sayfanın nasıl render edildiğini görmek için Rendered Page sekmesini tıklayın. Sayfanız düzgün bir şekilde render edilmiyorsa, engellenen kaynakları kontrol edin veya yapılandırma ayarlarında zaman aşımı sınırını uzatın. Her iki seçenek de sayfanızın render edilme biçimini çözmeye yardımcı olmazsa, ortaya çıkarılması gereken daha büyük bir sorun olabilir.

“Bulk Export’ → ‘Response Codes“a giderek web sitenizin taranmasını ve oluşturulmasını etkileyebilecek tüm engellenmiş kaynakları görüntüleyebilir ve toplu olarak dışa aktarabilirsiniz.

Orijinal HTML ve İşlenmiş HTML’yi görüntüleme

Herhangi bir tutarsızlığı tanımlamak veya önemli içeriğin DOM içinde bulunduğundan emin olmak için ham HTML ile oluşturulmuş HTML’yi karşılaştırmak istiyorsanız, ”Configuration → Spider →  Extraction”a gidin ve “store HTML”in seçili olduğundan emin olun.

Alt pencerede, ham ve oluşturulan HTML’yi görebilirsiniz. Bu, içeriğinizin tarayıcılar tarafından nasıl görüntülendiğine ilişkin sorunların belirlenmesine yardımcı olabilir.

Destan sona erdi. 🙂

Screaming Frog her geçen gün kendini geliştirmeye devam ediyor. Bu yazıda yer alan özellikler bizim keşfettiklerimiz ve kullandıklarımızdır. Muhtemelen işe yarar ve yeni keşfedilmeyi bekleyen daha onlarca Screaming Frog özelliği vardır. Keşfettikçe ve kullanmaya başladıkça yazmaya devam edeceğiz.

Screaming Frog ile SEO Analizi yazımızın 1. Bölümüne buradan ulaşabilirsiniz.

Yazar: Oğuz Karaoğlan