atsense – маркетинг и интернет реклама – бизнес блог

Реших, че е добра идея да почна да публикувам авторски програми и уеб приложения, които можете да използвате в работата ви ако се занимавате със SEO и/или интернет маркетинг и реклама. Така или иначе с времето ми се е налагало да правя комплексни скриптове, чрез които да съм една крачка напред в проучванията, оптимизацията и маркетинговите стратегии които съм правил. Някои от тях са доста редки по вид, да не кажа уникални по качества, но не искам да се/ги изтъквам тъй като съм сигурен, че ще се намерят плювалници, които да им търсят недостатъци.

Другото важно относно тях е, че не мога да си позволя да ги публикувам в пълна функционалност за да не бъде злоупотребено с тях (понеже аз си злоупотребявам с тях), но пък за всеки конкретен ще обяснявам как работи, така че, да може човек с бегли познания да си ги сглоби и пренаправи за себе си или за други цели.

Първия от поредицата е доста нужния за SEO оптимизацията инструмент – приложение за проверка позициите ви в Google - или с други думи проверка за това на кои позиции по ред в класиранията на Google е вашият сайт за определени думи или фрази (в случая до 5 на брой). Приложението е кръстено БАГЕР, не е нещо чак толкова символично, но отговаря на естеството му на действие тъй като един вид рови в резултатите за да ви намери сайта за думите и фразите които искате. Изпробвайте SEO приложението БАГЕР за проверка позициите на сайта ви в Google тук. Ще съм ви благодарен да изразите мнение във вид на коментар на статията с цел да го подобря за публична употреба.

Идеята му е да ви спести страшно много време на ровене в резултатите на Google особено ако сайта ви не е в първите 1-2 страници за думите за които желаете. Информацията, която получавате от това приложение е конкретно за всяка дума на кое място е страница от домейн-а ви в класиранията. Тази информация би ви била полезна с цел да разберете какви думи и фрази е нужно да оптимизирате повече и какви по-малко, къде конкуренцията е по-слаба и къде по-силна. Също така полезното при него е, че при периодично ползване в някакъв период от време можете да отчетете напредвате ли с оптимизацията или обратното – отивате назад в класиранията. За тази цел естествено е добре да си записвате позициите си за да можете да ги сравните във времето.

Малко техническа информация: Приложението работи изцяло на сървърно ниво със собствена база данни и не тормози вашия компютър или интернет свързаност. Търсенето става на ниво unix shell (bash) и на практика обхожда Google по страници като преглежда страниците (всеки 10 резултата) през произволен интервал от време от 3 до 15 секунди за да бъде максимално близък до естествено използване на търсачката тъй като от Гугъл имат навика да блокират такива приложения. Другата му stealth полза е че ползва user-agent на Firefox напълно идентичен с този на браузъра пак за да заблуди, че представлява всъщност естествен потребител който търси информация и сменя страниците.

Надявам се че „БАГЕР“ ще ви бъде полезен, а ако имате въпроси или мнения за него – драскайте коментари, гласът ви ще бъде чут. И останете на същата честота!

Ако статията ви е харесала можете да се абонирате за RSS емисията ни

Двата основни способа за това да получите многото онлайн посещения и респективно клиенти от които се нуждаете са SEO (оптимизация за търсачки) и платена реклама в интернет (Google AdWords, Yahoo Search Marketing, Microsoft AdCenter, EasyTrader, Facebook Ad Manager и т.н.) Въпреки че тези два метода коренно се различават един от друг по един важен показател – платени срещу безплатни посещения (естествено след като сте вложили пари за SEO), те имат много общо и са неразривно свързани, особено когато опира до реклама в Google на вашият уебсайт. Това което ги свързва и ги прави пропорционални е така нареченият Quality Score (качествена оценка) на сайта ви от системата на AdWords който е критерия играещ огромна роля в определянето на цените на клик(посещение) които ще плащате като рекламирате в търсачката.

Какво е Quality Score? Качествена оценка, качествен рейтинг – както и да го наричате термина опира до няколко простички неща. Това представлява система която съпоставя по свързаност/релевантност сайта който бива рекламиран с текста който бива показан във вид на реклама и с ключовите думи, при които рекламката ще се появява в Google. В момента тази система ви поставя оценка по десетобалната система от 1 до 10 базирана на това до колко сайта ви е един вид отговарящ на рекламния текст и ключовите думи. Тази качествена оценка е обратно пропорционална на цените, които ще ви бъдат определени. От тук висок Quality Score = ниска цена.

Как с това е свърана SEO оптимизацията? Ами сигурен съм, че ако до тук сте вникнали в смисъла на това което написах до някъде ще си отговорите и сами. По-голяма част от оценката на сайта ви при стартиране на реклама е свързаността на съдържанието на сайта с това което искате да офертирате, което пък интерпретирано и след наблюдения просто означава до колко сайта ви е оптимизиран за съответните думи преобладаващи в рекламното текстче и които ще задействат него в търсачката при търсене за тях. От тук ви остава само да свържете логически нещата и ще достигнете и до заключение, че добра SEO оптимизация = висока свързаност = висок Quality Score = Ниски цени за реклама в най-голямата интернет търсачка в света.

Използвам тази статия освен за да ви дам добри насоки в интернет маркетинга на сайта ви, и за да бъде ясно защо в рекламите услуги които предлагаме неразривно включваме и поне основна оптимизация на страниците на които носим на клиентите си посещения. Това е и удобен момент да оповестя и SEO оптимизация и като отделна услуга освен като част от пакета интернет реклама, от която могат да се възползват всички, които желаят да се класират на първи позиции в търсачките и да получават в пъти повече посещения на сайта си.

Ако пък имате въпроси относно ваши си онлайн маркетинг и рекламни проекти, няма да ви спестя изчерпателни отговори, въпреки че използвам know-how-то си и за комерсиални цели. Останете на тази честота(и не ме псувайте на ум че се повтарям)!

Ако статията ви е харесала можете да се абонирате за RSS емисията ни

Как да се конкурирате със силни конкуренти във вашата бизнес сфера. Този въпрос си задават много предприемачи, въпрос, над който съм си блъскал главата особено в някои конкретни случаи в които наистина конкуренцията е била близка до монопол. В крайна сметка съм се убедил, че винаги има начин и не е нужно това да са много пари или евтини трикове като укриване на данъци или неплащане на осигуровки с цел малкото продажби да ви носят повече пари – това е отживелица, забравете го. Ако бизнеса ви се крепи на подобни цигански номера по-добре си теглете ножа. Не, че имам против минимизацията на разходите, просто не това е начина, а и в днешни дни това по-скоро ще ви навреди от колкото да спомогне за развитието на дейността ви.

Та, какво наричаме силна конкуренция? Ама наистина силна! Това е примерно като ви кажа „тоалетна хартия“ да се сетите за една марка започваща със Бел- и завършваща на -ана. Това е като ви кажа нескафе и да се сетите за, познайте кой – ми нескафе, до толкова е силна позицията на тази марка, че дори наричаме всяко инстантно кафе със самата марка – но за това спомага и манталитета ни в Българияя, така че няма да се спирам на този пример конкретно. П.С. пример, който между другото важи и за „HILTI“ ако се замислите. Важното е че ме разбрахте за какво иде реч. И такива примери има не само в продуктите а и в услугите, и не е задължително да има монополист, а просто много силен висок слой и обръч от фирми измежду които ви се струва, че по смъртно няма да се наредите и да имате клиентите и поръчките които имат те. Да ама не, въпреки че бизнесите се делят на малък, среден и едър. И за всеки сектор си има клиентела и пазар. Много са начините да минете от по-ниско във по-високо ниво, или пък да претърпите смаляване във по-малката дефиниция – всеки има право на грешки нали така. Но сега няма да говорим за грешки, а обратното.

Първо правило – не се ограничавайте във размера на пазара, на който до сега сте се кутирали. Това, че сте се стабилизирали примерно като добре позната фирма да речем във малкия бизнес не значи, че не трябва да гледате нагоре. Естествено, при условие, че наистина сте се стабилизирали, не искате да рискувате да бъдете както се казва „На гол тумбак чифте пищови“. Та това което имам предвид е да не си изграждате предразсъдъци, че примерно вие еди си кои клиенти никога няма да имате защото видиш ли те били за средния и едрия бизнес и работели само с такива фирми. Грешка! Работят със тези които им вършат работа, и тези които изглеждат така както трябва! Тези които могат да продават! Тези които им предоставят ниски цени, а това го можете! Тук е важно да разберете и че ако до сега сте работили само със частни клиенти това не значи че не можете да атакувате корпоративни клиенти, фирми и други големи организации. Представете си че имате магазинче за авто-части и не ви липсват хора които да си търсят по някоя част за автомобила и да се спират при вас да си купят това което им трябва. До тук добре, ама ако всичко е ок по тоя параграф вместо да лентяйствайте атакувайте големите купувачи на вашата стока, в случая големи автосервизи например. Всичко е до нагласа, а трябва да я имате. Предлагайте продукти и услуги както на едро така и на дребно, правете промоции! Хиляди са начините.

Второ правило – няма граници! За териториални говоря. Ситуацията е следната – във Варна или София ви притискат силни конкуренти за вашата услуга – хайде примерно строителни фирми или агенции за недвижими имоти. Ужас а? Ми не, вместо да си трошите главата и парите да ги борите там където са силни, атакувайте околните градове и региони където респектирате със това, че просъществувате във по-големия град или регион и клиенти със сигурност ще завалят – както за по малко рекламни пари, така и повече на брой от колкото да обирате останките на комшиите монополисти, на които също можете да видите сметката в по-късен етап от развитието ви. Другата важна стъпка е да не гледате като коне с капаци само в държавата където сте базирани. Да не мислите, че тези които внасят или изнасят са нещо повече от вас? Глупости, просто са се сетили, не им е отнело много пари преодоляването на езиковата бариера – нещо което може да ви свърши и преводаческа агенция или един човек от персонала ви нает да се занимава със международни клиенти и сега са голям износител или вносител – точно такъв какъвто и вие можете да бъдете със малко находчивост. Да не забравяме, че в крайна сметка тази статия е на Български, четат я Български фирми, със стоки и услуги предлагани на Български цени – които са много по-ниски от тези на много от фирмите зад граница във съседни държави или не до там съседни. Хайде, пуснете си въображението на воля, няма да ви наливам само аз, макар че искрено се кефя като съм дал добри идеи на много от вас.

Трето правило – Победете конкуренцията с реклама! Ето и стигнахме това, което ви носи клиенти, това което ви популяризира и кара клиентите да търсят вас – рекламата. Като опре до рекламиране може да се каже, че задължително трябва да вземете предвид първите 2 правила за които говорих – няма граници и няма ограничения. Имайте това на ум поне като проучвате за реклама, и там е ключа за палатката. Целта ви е да намерите къде иначе силните ви конкуренти са със слабо присъствие и представяне, а същевременно търсенето е голямо. Говоря както за реклама във телевизия, радио и печат, така и в интернет – където реално можете да знаете дали има търсене за това което предлагате, колко хора го търсят на месец и колко ще ви струва един посетител/потенциален клиент. Интернет рекламата преодолява също така и границите и ограниченията, за които говорех – нямате никакъв проблем да рекламирате по целия свят без да излизате от България, също така нямате нужда да рекламирате вашата софииска фирма във Русе просто защото и в София и Русе ползват един и същ Интернет и рекламата ви ще се появява навсякъде където пожелаете – по държава, по град, дори в някои случаи по социологически фактори – на хора на определена възраст или от определен пол. Абе далавера от всякъде, да не говорим, че много от силните ви конкуренти още не са се сетили да го направят и да завоюват рекламата онлайн или в Google. Така че изградите ли си едни силни позиции там, в последствие за тях ще е трудно да ви конкурират там. А ето тук можете да видите как да започнете да рекламирате в интернет и да разгледате нашите онлайн рекламни услуги.

Това е за сега конкретно по този въпрос, а ако някой забелязва нещо което съм написал и се е случило по същия начин с неговия бизнес не пречи да сподели. Защото съм сигурен, че много успешни фирми усетно или неусетно са следвали тези правила и са имали успех. А за тези които искат съвет коментарите са също отворени. Останете на тази честота!

Ако статията ви е харесала можете да се абонирате за RSS емисията ни

С удоволствие и без въобще да се насилвам пиша този пост за да оповестя най-накрая готовия продукт – уебсайта на който предлагаме (аз и моите сътрудници) цялостни интернет маркетинг и рекламни решения – atsense. Не очаквам хвалебствени отзиви, нито смятам че заслужавам, точно обратното – сега е ред на така нареченото българско интернет бизнес общество да се изплюе за пореден път, но не ме притеснява – всеки има право да си губи времето с каквото си поиска.

Та, на въпроса, какво предлагам аз във atsense marketing ltd. Ще започна със съвсем стандартните неща за които вече има информация на сайта, както и процес за регистрация на потенциални клиенти и това е изграждане и поддръжка на интернет рекламна кампания – за сега в Google AdWords, но в близките седмици дай Боже и в Yahoo и контекстуалните мрежи включващи идиотски социални мрежи като Facebook и някой любими торент сайтове като ArenaBG и Замунда, в които ще можем да предложим реклама на приятни цени. За повече подробности около думите „изграждане“ и „поддръжка“, а и за да сте наясно със многото на брой екстри към услугата прегледайте началната страница и ще ви стане ясно.

Другата услуга която като бонус естествено при повечето случаи с доплащане, освен ако не е нещо наистина минимално, това е оптимизацията (SEO). Щом четете този блог навярно поне сте чували какво е тя. А за тези които не са – това е нещо, което спомага сайта ви да се появява на челни първи позиции в Google, Yahoo, Live, или която и да е друга търсачка когато се потърси желана от клиента дума или фраза в тези търсачки. Както за рекламата така и при оптимизацията първоначалния анализ е безплатен и бива изпратен на вас до 3 работни дни след заявка на сайта. Можете да прочетете Как да започнете вашата интернет маркетинг кампания и ще добиете яснота по въпроса.

Сега, новото което е тук (всъщност там, на адреса на сайта) това е до сега не предлаганото – рекламна кампания онлайн без да имате съществуващ сайт. Да – точно така, и това не е заблуда както може би някои ще си помислят. Това представлява реклама в интернет и в частност най-големите търсачки, която ще бъде насочена към специално изградени ландинг(приземяващи) единични страници, които не са цялостен уебсайт, но са предостатъчни, безплатно изградени от нас пейджове на които се предлагат лансираните стоки и продукти на клиента, както и оф-лайн начин за връзка със фирмата-клиент. Ако не се досещате тези единични страници отговарящи на конкретните реклами и фирмена информация ще бъдат тотално оптимизирани с цел понижаване цената на посещение(клик).

Другата невиждана (предполагам) новост е новата система която аз лично разработвам и ще стартирам през Март – Call Per Click, която като съкращение е същата като Cost per Click, за това няма да я употребявам съкратена или просто ще и измисля ново име (това е работно). Тази система има за цел да се възползва от предимствата на интернет рекламата + позитивите на VoIP телефонията. КАК? ще попитате вие. Ми няма да ви кажа как, само ще ви кажа какво ще представлява като услуга. Тази система ще дава информация на всеки клиент който иска да рекламира онлайн или да бъде оптимизиран уебсайта му, за това колко регистрации, продажби или потенциални клиента му е донесъл интернет маркетинга дори за клиенти поръчващи/купуващи по телефон. Нещо което до сега поне аз не съм виждал някой да предлага. Това ще представлява статистика и отчет на всеки 100 посещения колко от тях звънят на фирмата рекламодател, така освен че ще има информация за посещенията и евентуално продажби в интернет, всичката статистика ще бъде и допълнена със информация за конвертираните клиенти по телефон Така, че не сменяйте станцията, или просто ако я смените пак я включвайте от време на време.

Ако статията ви е харесала можете да се абонирате за RSS емисията ни

Реших да почна да вмятам от време на време малко по-конкретни постове в отговор на масата идиотски псевдо-онлайн-маркетинг-разбирачи, бълващи безсмислени статии със стандартна информация която можете да прочетете на 1000 места без да има някаква разлика. За тях мнението ми е, че са до толкова свързани със онлайн бизнеса колкото е магаре с космос, но това е друга тема.

Та, за хората които не са запознати с това как работят търсачките (пр. Google, Yahoo, Live, WebCrawler, Diri, и т.н.) и които са достатъчно интелигентни за да си го признаят обяснявам. Търсачките разполагат със бази данни. За да попадне в тези бази данни вашият сайт той по някакъв начин трябва да бъде прочетен от някой, нали така? Тази работа естествено е непосилна за компаниите поддържащи тези търсачки да извъшат на ръка с оглед милиардите сайтове в интернет, дори да разполагаха със целокупния китайски народ като персонал. Ето защо са създадени от тях така наречените „паяци“ спайдъри, кроулъри (от crawl – пълзя), ботове, абе както искате ги наричайте това са просто автоматизирани компютри които обикалят интернет уеб пространството и събират информация за сайтовете и тяхното съдържание.

Как се „движат“ тези автоматизирани спайдъри на търсачките. Поведението им следва предварително зададен алгоритъм, като той при различните търсачки е различен и е в основата и голяма част от тайните на всяка една търсачка за това как точно оценява сайтовете и съответно ги класира(процес който не се извършва от паяците, но те доставят информацията за него). Поведението на тези автоматизирани „машинки“ не е чак толкова сложно, те един вид се движат из уеб страниците като следват маршрут определен от линкове. След като достигнат страница свързана с линк от предходна те събират съдържанието и точно като браузър (пр. Internet Explorer, Opera, Mozilla FireFox). Те интерпретират кода на страницата и го поемат във вид почти такъв какъвто и вие го виждате на вашия компютър.

Забележка: Някой от спайдърите (повечето) не са способни да интерпретират флаш съдържание, голяма част java i Аjax скриптове, но няма да се отплесвам за това какво не поемат. Бъдете сигурни че чист html, php и asp със визуални ефекти постигнати максимум със css , jpg, png и gif формати биват попити без проблем. А и има трикове все пак ако държите да имате флаш за юзърите да поднесете нещо „по-чистичко“ на ботовете. Друг път ще си приказваме за тия неща макар че програмиране въобще не ме вълнува.

Как спайдъра (пр. на Google или MSN или Yahoo) прочита вашия сайт. До тук предполагам се ориентирахте горе-долу как започва процеса на събиране на информация от търсачките и техните паяци. Трябва вече да ви свети една крушка над главата в знак на осъзнаване или напомняне че за да стигне до сайта ви която и да е гадина трябва да имате външен линк до някъде по сайта ви нали така? Та веднъж озовал се някъде по вашия уебсайт, робота на google сканира съдържанието на сайта – такова каквото е в изходен html от горе надолу. Ако пък за първи път се озовава на домейна ви, или предприема цялостно сканиране в последствие той първо проверява за файла robots.txt в който можете да му окажете какво да не събира и къде няма право да ходи. Този файл бива прочитан както при цялостни събирания така и произволно при проверка за промяна на индекса на сайта ви. Редом със съдържанието се прочитат и линковете към вътрешни и външни страници и в последствие те биват последвани но не веднага и не ако съдържат като параметър „nofollow“ за който също ще си приказваме друг път. Но стандартните ви линкове, да кажем вътрешни освен ако изрично не искате да бъде индексирана дадена част от сайта едва ли съдържат този параметър.

Сега относно това как третира съдържанието което прочита още преди да бъде предадено за класиране и индексирано. Първата му работа е да види за мета тагове ( description и keywords ) и заглавие на страницата които ще бъдат взети предвид при окончателно класиране на сайта. Ако такива не съществуват бива генериран статичен description който представлява извадка от първия текст който срещне на страницата + евентуално alt/title параметри на първите снимки. Не се плашете защото и в двата случая това не е фатално тъй като при окончателно индексиране и класиране той генерира и динамичен description който представлява извадка от съдържанието отговаряща на търсената дума или фраза. Примерно ако във трети абзац говорите за „плюшени мечки“, и се класирате добре за тях, на хората търсещи това има вероятност да бъде показан пасаж от този абзац съдържащ фразата, естествено ако според алгоритъма сте оптимизирали за фразата и въобще ви се покаже страницата във резултатите на Google.

Следва основен анализ на съдържанието (главно текстово) след което действат най-основните алгоритми за не-предаване на информацията за класиране – скрити линкове, тотално пренасищане с ключови думи, sandbox ефект, твърде много външни или вътрешни линкове, и т.н. Да кажем че не сте прекалили и информацията бива запазена в опашка за втори алгоритъм (вече локално в сървърите на търсачките), където бива оценено съдържанието и класирано според оценката на значимостта и релевантността към различни думи и фрази.

И тъй като съм почнал да говоря за спайдъри, ще продължа за тази част от процеса. Много е важно следенето и анализа на поведение на събиращите паяци-роботи. Те могат и трябва да се следят защото фактора „crawl rate“ или на български коефициент на събиране на инфорамацията е много важен елемент от оптимизацията (SEO) на всеки един сайт. За тази материя голяма маса от „професионалните тъпанари занимаващи се със онлайн маркетинг или оптимизация“ в България могат много малко да ви кажат защото повечето от тях нямат бегла представа от това как работи един сайт, как работи уеб сървъра на който е този сайт и въобще как работи компютъра използван за такъв сървър. Инструменти като google analytics, webalizer или awstats са единствения им начин въобще да добият някаква представа за това. Да подчертая, тези инструменти са добри, но ако си говорим за следене поведението на това как бива обхождан сайта ви, единствено лаици биха се информирали само от тях. Естествено не искам да обиждам хора които си разбират от работата и тези неща са им до болка познати а и те са достатъчно с акъла си да знаят че не целя тях.

Как да следим спайдърите обхождащи нашият сайт и да разберем какво правят?
Така, чудя се дали да почна от далече, но тъй като поста вече е достатъчно дълъг ще почна от близко. Във уеб сървър(пр. Аpache, IIS, Tomcat) лог-а който (трябва да) имате за всеки конкретен домейн по който работите (говоря за access log както и за error log) се записва абсолютно всяка активност свързана със сайта който се намира на този домейн и всички негови подстраници. Записват се всички заявки, както успешни, така и неуспешни, пренасочвания, референции ако предходния сайт има такива, IP адреси на посетители, клиентска част на потребители(браузъри или идентификация за ботове) час и дата на заявки, отговор на сървъра ви след заявките и поискана и дадена информация. Както се досещате там се намират и всички заявки на спайдърите обхождащи сайта ви, заедно със всички техни детайли както при обикновените потребители. Това почване си беше от далече. Та там са техните заявки. И те не се крият, всеки спайдър си има идентификация освен третокласните роботи на четвъртокласните търсачки от трета глуха, но и тях можете да прихванете. Ето ще ви дам един пример как да намерите какво е правил MSN спайдъра на вашият сайт днес:

65.55.210.248 – - [01/Feb/2009:01:46:25 +0100] „GET /robots.txt HTTP/1.1″ 200 1 „-“ „msnbot/1.1 (+http://search.msn.com/msnbot.htm)“
65.55.210.248 – - [01/Feb/2009:01:46:26 +0100] „GET /index.php?/archives/2008/12/C3.html HTTP/1.1″ 200 12422 „-“ „msnbot/1.1 (+http://search.msn.com/msnbot.htm)“
65.55.210.246 – - [01/Feb/2009:18:25:33 +0100] „GET /robots.txt HTTP/1.1″ 200 1 „-“ „msnbot/1.1 (+http://search.msn.com/msnbot.htm)“
65.55.210.246 – - [01/Feb/2009:18:25:35 +0100] „GET /index.php?/archives/2008/11/C3.html HTTP/1.1″ 200 12382 „-“ „msnbot/1.1 (+http://search.msn.com/msnbot.htm)“
65.55.210.251 – - [01/Feb/2009:22:48:19 +0100] „GET /robots.txt HTTP/1.1″ 200 1 „-“ „msnbot/1.1 (+http://search.msn.com/msnbot.htm)“
65.55.210.251 – - [01/Feb/2009:22:48:22 +0100] „GET /index.php?/archives/9-Zavladejte-pazara-s-blog-ot-Blogspot-!.html HTTP/1.1″ 200 24681 „-“ „msnbot/1.1 (+http://search.msn.com/msnbot.htm)“

Това е заявка под линукс bash# с команда grep „01/Feb/2009″ access_log | grep „msnbot“ която можете да замените с друга дата или просто месец или каквото ви скимне както и със идентификатор за друг бот на друга търсачка. Но пък ако разполагате със лог файла можете да направите това със простичкия Ctrl+F във всеки едитор с който желаете да го разглеждате дори по Windows.

Нека анализираме какво се е случило: първото което трябва да забележите е че бота в случая на Microsoft е използвал 3 различни IP-та, което не трябва да ви притеснява тъй като с цел разпределение на натоварването биват използвани много на брой машини постоянно за обхождане на уеб пространството. Какво е направил спайдъра – във 01:46 както по-нагоре ви обясних е прегледал robots.txt . След като се е убедил че му е позволено да обхожда се е засилил там където е решил да събира информация – в случая 2 пъти е сканирал една и съща страница – което е много добър фактор за нея, а и това че не го прави като част от цялостно сканиране говори че тя е добре индексирана и има висок коефициент на сканиране, с две думи ако го повтори и потрети в други дни значи наистина тази страница представлява голям интерес за MSN/Live чиито представител е бота. Както виждате робота се е върнал по късно и е сканирал и още една страница която в случая е линк-ната от първата, и така нагледно виждате неговото поведение. Така можете примерно да прецените ако страница не бива обходена а е добре линкната от друга която бива сканирана да намерите проблема или негативния фактор заради който бота не обхожда всичко което вие искате. Знаете ли, ще оставя подробностите около това как още можете да използвате тази информация защото просто стана нечовешки дълга статия. Единственото още което държа да ви дам като информация е user-agent идентификаторите на другите търсачки (за MSN както видяхте е msnbot):
Ще ви дам само основните три, другите можете да намерите без проблем в интернет:

Google – Googlebot (може да бъде с версия както и без) пр (Googlebot/2.1)
MSN / Live – msnbot
Yahoo – Yahoo! Slurp (може да бъде различни вариации на думата „slurp“)

Наистина ама наистина се надявам да ви дойде полезна статията и естествено не сменяйте станцията

Ако статията ви е харесала можете да се абонирате за RSS емисията ни