atsense – маркетинг и интернет реклама – бизнес блог

Въпреки, че сайта и респективно услугите които представих съвсем скоро преди не повече от месец и половина в интернет пространството, отчитам зверски успех в класиранията (не че не го очаквах). Факта, че на самия домейн до преди 50тина дни нямаше грам съдържание е показателен и доказва не толкова, че съм работил много за тези позиции, а по-скоро на какво ниво е уеб пространството в България – тъй като конкуренцията далеч не е на висота.

Следната извадка съдържа основни 20 ключови думи(фрази), и съответстващите им позиции на които се появява сайта (http://atsense.com) или негова подстраница в резултатите на Google или тъй-наречените SERP (Search Engine Results Pages).

Позиции на atsense в Google

Както искате го приемайте това, някой ще кажат, че се хвалим, други, че това не е нищо особено – честно казано не ни дреме. Този пост просто ви казва на вас – нашите конкуренти – Само минаваме покрай вас и ви оставяме назад! Така или иначе конкуренцията (ако смее да се нарича такава) вече го е усетила.

Ако статията ви е харесала можете да се абонирате за RSS емисията ни

Реших, че е добра идея да почна да публикувам авторски програми и уеб приложения, които можете да използвате в работата ви ако се занимавате със SEO и/или интернет маркетинг и реклама. Така или иначе с времето ми се е налагало да правя комплексни скриптове, чрез които да съм една крачка напред в проучванията, оптимизацията и маркетинговите стратегии които съм правил. Някои от тях са доста редки по вид, да не кажа уникални по качества, но не искам да се/ги изтъквам тъй като съм сигурен, че ще се намерят плювалници, които да им търсят недостатъци.

Другото важно относно тях е, че не мога да си позволя да ги публикувам в пълна функционалност за да не бъде злоупотребено с тях (понеже аз си злоупотребявам с тях), но пък за всеки конкретен ще обяснявам как работи, така че, да може човек с бегли познания да си ги сглоби и пренаправи за себе си или за други цели.

Първия от поредицата е доста нужния за SEO оптимизацията инструмент – приложение за проверка позициите ви в Google - или с други думи проверка за това на кои позиции по ред в класиранията на Google е вашият сайт за определени думи или фрази (в случая до 5 на брой). Приложението е кръстено БАГЕР, не е нещо чак толкова символично, но отговаря на естеството му на действие тъй като един вид рови в резултатите за да ви намери сайта за думите и фразите които искате. Изпробвайте SEO приложението БАГЕР за проверка позициите на сайта ви в Google тук. Ще съм ви благодарен да изразите мнение във вид на коментар на статията с цел да го подобря за публична употреба.

Идеята му е да ви спести страшно много време на ровене в резултатите на Google особено ако сайта ви не е в първите 1-2 страници за думите за които желаете. Информацията, която получавате от това приложение е конкретно за всяка дума на кое място е страница от домейн-а ви в класиранията. Тази информация би ви била полезна с цел да разберете какви думи и фрази е нужно да оптимизирате повече и какви по-малко, къде конкуренцията е по-слаба и къде по-силна. Също така полезното при него е, че при периодично ползване в някакъв период от време можете да отчетете напредвате ли с оптимизацията или обратното – отивате назад в класиранията. За тази цел естествено е добре да си записвате позициите си за да можете да ги сравните във времето.

Малко техническа информация: Приложението работи изцяло на сървърно ниво със собствена база данни и не тормози вашия компютър или интернет свързаност. Търсенето става на ниво unix shell (bash) и на практика обхожда Google по страници като преглежда страниците (всеки 10 резултата) през произволен интервал от време от 3 до 15 секунди за да бъде максимално близък до естествено използване на търсачката тъй като от Гугъл имат навика да блокират такива приложения. Другата му stealth полза е че ползва user-agent на Firefox напълно идентичен с този на браузъра пак за да заблуди, че представлява всъщност естествен потребител който търси информация и сменя страниците.

Надявам се че „БАГЕР“ ще ви бъде полезен, а ако имате въпроси или мнения за него – драскайте коментари, гласът ви ще бъде чут. И останете на същата честота!

Ако статията ви е харесала можете да се абонирате за RSS емисията ни

Реших да почна да вмятам от време на време малко по-конкретни постове в отговор на масата идиотски псевдо-онлайн-маркетинг-разбирачи, бълващи безсмислени статии със стандартна информация която можете да прочетете на 1000 места без да има някаква разлика. За тях мнението ми е, че са до толкова свързани със онлайн бизнеса колкото е магаре с космос, но това е друга тема.

Та, за хората които не са запознати с това как работят търсачките (пр. Google, Yahoo, Live, WebCrawler, Diri, и т.н.) и които са достатъчно интелигентни за да си го признаят обяснявам. Търсачките разполагат със бази данни. За да попадне в тези бази данни вашият сайт той по някакъв начин трябва да бъде прочетен от някой, нали така? Тази работа естествено е непосилна за компаниите поддържащи тези търсачки да извъшат на ръка с оглед милиардите сайтове в интернет, дори да разполагаха със целокупния китайски народ като персонал. Ето защо са създадени от тях така наречените „паяци“ спайдъри, кроулъри (от crawl – пълзя), ботове, абе както искате ги наричайте това са просто автоматизирани компютри които обикалят интернет уеб пространството и събират информация за сайтовете и тяхното съдържание.

Как се „движат“ тези автоматизирани спайдъри на търсачките. Поведението им следва предварително зададен алгоритъм, като той при различните търсачки е различен и е в основата и голяма част от тайните на всяка една търсачка за това как точно оценява сайтовете и съответно ги класира(процес който не се извършва от паяците, но те доставят информацията за него). Поведението на тези автоматизирани „машинки“ не е чак толкова сложно, те един вид се движат из уеб страниците като следват маршрут определен от линкове. След като достигнат страница свързана с линк от предходна те събират съдържанието и точно като браузър (пр. Internet Explorer, Opera, Mozilla FireFox). Те интерпретират кода на страницата и го поемат във вид почти такъв какъвто и вие го виждате на вашия компютър.

Забележка: Някой от спайдърите (повечето) не са способни да интерпретират флаш съдържание, голяма част java i Аjax скриптове, но няма да се отплесвам за това какво не поемат. Бъдете сигурни че чист html, php и asp със визуални ефекти постигнати максимум със css , jpg, png и gif формати биват попити без проблем. А и има трикове все пак ако държите да имате флаш за юзърите да поднесете нещо „по-чистичко“ на ботовете. Друг път ще си приказваме за тия неща макар че програмиране въобще не ме вълнува.

Как спайдъра (пр. на Google или MSN или Yahoo) прочита вашия сайт. До тук предполагам се ориентирахте горе-долу как започва процеса на събиране на информация от търсачките и техните паяци. Трябва вече да ви свети една крушка над главата в знак на осъзнаване или напомняне че за да стигне до сайта ви която и да е гадина трябва да имате външен линк до някъде по сайта ви нали така? Та веднъж озовал се някъде по вашия уебсайт, робота на google сканира съдържанието на сайта – такова каквото е в изходен html от горе надолу. Ако пък за първи път се озовава на домейна ви, или предприема цялостно сканиране в последствие той първо проверява за файла robots.txt в който можете да му окажете какво да не събира и къде няма право да ходи. Този файл бива прочитан както при цялостни събирания така и произволно при проверка за промяна на индекса на сайта ви. Редом със съдържанието се прочитат и линковете към вътрешни и външни страници и в последствие те биват последвани но не веднага и не ако съдържат като параметър „nofollow“ за който също ще си приказваме друг път. Но стандартните ви линкове, да кажем вътрешни освен ако изрично не искате да бъде индексирана дадена част от сайта едва ли съдържат този параметър.

Сега относно това как третира съдържанието което прочита още преди да бъде предадено за класиране и индексирано. Първата му работа е да види за мета тагове ( description и keywords ) и заглавие на страницата които ще бъдат взети предвид при окончателно класиране на сайта. Ако такива не съществуват бива генериран статичен description който представлява извадка от първия текст който срещне на страницата + евентуално alt/title параметри на първите снимки. Не се плашете защото и в двата случая това не е фатално тъй като при окончателно индексиране и класиране той генерира и динамичен description който представлява извадка от съдържанието отговаряща на търсената дума или фраза. Примерно ако във трети абзац говорите за „плюшени мечки“, и се класирате добре за тях, на хората търсещи това има вероятност да бъде показан пасаж от този абзац съдържащ фразата, естествено ако според алгоритъма сте оптимизирали за фразата и въобще ви се покаже страницата във резултатите на Google.

Следва основен анализ на съдържанието (главно текстово) след което действат най-основните алгоритми за не-предаване на информацията за класиране – скрити линкове, тотално пренасищане с ключови думи, sandbox ефект, твърде много външни или вътрешни линкове, и т.н. Да кажем че не сте прекалили и информацията бива запазена в опашка за втори алгоритъм (вече локално в сървърите на търсачките), където бива оценено съдържанието и класирано според оценката на значимостта и релевантността към различни думи и фрази.

И тъй като съм почнал да говоря за спайдъри, ще продължа за тази част от процеса. Много е важно следенето и анализа на поведение на събиращите паяци-роботи. Те могат и трябва да се следят защото фактора „crawl rate“ или на български коефициент на събиране на инфорамацията е много важен елемент от оптимизацията (SEO) на всеки един сайт. За тази материя голяма маса от „професионалните тъпанари занимаващи се със онлайн маркетинг или оптимизация“ в България могат много малко да ви кажат защото повечето от тях нямат бегла представа от това как работи един сайт, как работи уеб сървъра на който е този сайт и въобще как работи компютъра използван за такъв сървър. Инструменти като google analytics, webalizer или awstats са единствения им начин въобще да добият някаква представа за това. Да подчертая, тези инструменти са добри, но ако си говорим за следене поведението на това как бива обхождан сайта ви, единствено лаици биха се информирали само от тях. Естествено не искам да обиждам хора които си разбират от работата и тези неща са им до болка познати а и те са достатъчно с акъла си да знаят че не целя тях.

Как да следим спайдърите обхождащи нашият сайт и да разберем какво правят?
Така, чудя се дали да почна от далече, но тъй като поста вече е достатъчно дълъг ще почна от близко. Във уеб сървър(пр. Аpache, IIS, Tomcat) лог-а който (трябва да) имате за всеки конкретен домейн по който работите (говоря за access log както и за error log) се записва абсолютно всяка активност свързана със сайта който се намира на този домейн и всички негови подстраници. Записват се всички заявки, както успешни, така и неуспешни, пренасочвания, референции ако предходния сайт има такива, IP адреси на посетители, клиентска част на потребители(браузъри или идентификация за ботове) час и дата на заявки, отговор на сървъра ви след заявките и поискана и дадена информация. Както се досещате там се намират и всички заявки на спайдърите обхождащи сайта ви, заедно със всички техни детайли както при обикновените потребители. Това почване си беше от далече. Та там са техните заявки. И те не се крият, всеки спайдър си има идентификация освен третокласните роботи на четвъртокласните търсачки от трета глуха, но и тях можете да прихванете. Ето ще ви дам един пример как да намерите какво е правил MSN спайдъра на вашият сайт днес:

65.55.210.248 – - [01/Feb/2009:01:46:25 +0100] „GET /robots.txt HTTP/1.1″ 200 1 „-“ „msnbot/1.1 (+http://search.msn.com/msnbot.htm)“
65.55.210.248 – - [01/Feb/2009:01:46:26 +0100] „GET /index.php?/archives/2008/12/C3.html HTTP/1.1″ 200 12422 „-“ „msnbot/1.1 (+http://search.msn.com/msnbot.htm)“
65.55.210.246 – - [01/Feb/2009:18:25:33 +0100] „GET /robots.txt HTTP/1.1″ 200 1 „-“ „msnbot/1.1 (+http://search.msn.com/msnbot.htm)“
65.55.210.246 – - [01/Feb/2009:18:25:35 +0100] „GET /index.php?/archives/2008/11/C3.html HTTP/1.1″ 200 12382 „-“ „msnbot/1.1 (+http://search.msn.com/msnbot.htm)“
65.55.210.251 – - [01/Feb/2009:22:48:19 +0100] „GET /robots.txt HTTP/1.1″ 200 1 „-“ „msnbot/1.1 (+http://search.msn.com/msnbot.htm)“
65.55.210.251 – - [01/Feb/2009:22:48:22 +0100] „GET /index.php?/archives/9-Zavladejte-pazara-s-blog-ot-Blogspot-!.html HTTP/1.1″ 200 24681 „-“ „msnbot/1.1 (+http://search.msn.com/msnbot.htm)“

Това е заявка под линукс bash# с команда grep „01/Feb/2009″ access_log | grep „msnbot“ която можете да замените с друга дата или просто месец или каквото ви скимне както и със идентификатор за друг бот на друга търсачка. Но пък ако разполагате със лог файла можете да направите това със простичкия Ctrl+F във всеки едитор с който желаете да го разглеждате дори по Windows.

Нека анализираме какво се е случило: първото което трябва да забележите е че бота в случая на Microsoft е използвал 3 различни IP-та, което не трябва да ви притеснява тъй като с цел разпределение на натоварването биват използвани много на брой машини постоянно за обхождане на уеб пространството. Какво е направил спайдъра – във 01:46 както по-нагоре ви обясних е прегледал robots.txt . След като се е убедил че му е позволено да обхожда се е засилил там където е решил да събира информация – в случая 2 пъти е сканирал една и съща страница – което е много добър фактор за нея, а и това че не го прави като част от цялостно сканиране говори че тя е добре индексирана и има висок коефициент на сканиране, с две думи ако го повтори и потрети в други дни значи наистина тази страница представлява голям интерес за MSN/Live чиито представител е бота. Както виждате робота се е върнал по късно и е сканирал и още една страница която в случая е линк-ната от първата, и така нагледно виждате неговото поведение. Така можете примерно да прецените ако страница не бива обходена а е добре линкната от друга която бива сканирана да намерите проблема или негативния фактор заради който бота не обхожда всичко което вие искате. Знаете ли, ще оставя подробностите около това как още можете да използвате тази информация защото просто стана нечовешки дълга статия. Единственото още което държа да ви дам като информация е user-agent идентификаторите на другите търсачки (за MSN както видяхте е msnbot):
Ще ви дам само основните три, другите можете да намерите без проблем в интернет:

Google – Googlebot (може да бъде с версия както и без) пр (Googlebot/2.1)
MSN / Live – msnbot
Yahoo – Yahoo! Slurp (може да бъде различни вариации на думата „slurp“)

Наистина ама наистина се надявам да ви дойде полезна статията и естествено не сменяйте станцията

Ако статията ви е харесала можете да се абонирате за RSS емисията ни

Не вярвате? Да, ама повярвайте! От месеци споря със колеги, които като мен се занимават с Онлайн маркетинг и развитие на бизнес в интернет и съм като „черната овца“ защитавайки повечето безплатни платформи за изява, от гледна точка на това да се използват за популяризиране и завладяване на първи места в Google, Yahoo и MSN както и взаимно или еднопосочно линкване със главни сайтове и бизнеси. Естествено масовото мнение е, че никога нещо безплатно не може да изплува над комерсиалните, „платени“ продукти и платформи в резултатите на главните търсачки. Да ама не!
Първо да поясня за кои платформи говоря. Съвсем примерно от този вид са: Blogspot (на Google), Newsvine (социална мрежа с профилни страници за новини), Typepad (блог платформа) и още много други. Та съвсем бегло реших да си направя малко проучване до къде може да стигне сайт изграден върху една от тези платформи. Резултатите дори мен шашнаха:

fakesteve.blogspot.com – забележете колкото и абстрактен да е PageRank-a, тук си говорим за 7/10 , а при търсена дума „blog“ се класира на 2ра страница като измества блогове като този на Sun microsystems и Блога на Guardian ( най-големия британски ежедневник)

dilbertblog.typepad.com – тук имаме груба селска атака срещу Google-ските истории, като в този случай интересното, освен, че отново сайта е 7/10 пр, е че при съвсем примерната търсена дума „blog“ в google.co.uk и google.com измества и стои гордо пред блога на Mат Кътс (най-известния публичен Google блогър и говорител)

spring.newsvine.com – нищо, че разполага със „скромната“ 5/10 PageRank, този Newsvine user уебсайт гордо заема позиция на първа страница измежду само Wikipedia страници за фраза „Chaos on Wikipedia“

Та мисля, че с тези няколко примера тотално опровергах предразсъдъците, че некомерсиални профилни страници или безплатни платформи могат да бъдат използвани както за завладяване на съответния тематичен пазар / ниша, както и за „сателит“ подпомагащ вашия маркетинг на бизнеса ви в интернет. Ако някой мисли друго яче, подканвам всеки с различно мнение да коментира и изрази позиция по този въпрос :}

Ако статията ви е харесала можете да се абонирате за RSS емисията ни

! Съвсем прясно, дори все още некоментирано:

Оказа се, че промяната в политиката относно платените линкове не е единствената огромна промяна тази година в Google. Тъкмо когато си мислехме че Google не може да ядоса и раздразни Интернет-маркетинг обществото повече от колкото го направи със аферата „Платени линкове“, те го направиха отново и в по-голям размер.
Да, Google хвърли поредната бомба и тя е, че в най-скоро време под(съб)домейните ще бъдат третирани и класирани в търсачката като фиктивни директории от вашият сайт. Какво значи това, това значи че от сега нататък за определено търсене/търсена дума или словосъчетание в резултатите ще фигурират не повече от 2 резултата обвързани със един и същ домейн. Ако до сега вашият сайт например (бизнес.ком) се е класирал и заемал всичките 1 до 10 места със различни събдомейни, от сега нататък той ще има право на 2 резултата „давайки шанс на останалите сайтове в тази тематика да получат аудитория“ – да бе да. Защо ли това е поредната официална глупост, с която прикриват явните си намерения.
Ако това ново правило в алгоритъма на гугъл стане факт във вида, в който Мат Кътс го обяви (еле официалния си вид) това означава смърт за всички WEB2.0 сайтове използващи събдомейни за профилни страници на своите потребители – в това число огромни е-магазини, университети, социални мрежи, портали от всякакъв тип. Въобще, каквато и да е информация по събдомейните ви ще бъде недостъпна за търсачите в Google, ако не дай си боже тя черпи трафик от фрази и думи за които главният ви домейн се класира по напред. А зад него в резултатите на Гуглата ще бъде наредена конкуренцията във цялото и величие и численост.
Самият този блог ще е един вид датчик какво точно ще се случи със събдомейните спрямо главният техен домейн при класирането им в Гуглата. Както виждате (най-вероятно) адресът му е събдомейн, който нарочно реших да използвам разграничавайки го от съдържанието на сайт-а който разработвам на главният домейн. Та можете да бъдете сигурни, че ще съм в течение и на първият ред когато тези промени настъпят в Гугъл.
Ще бъде егоистично ако не отбележа, че в цялата работа има и добра страна. Тази добра страна е че след като Гуглата наложи гореспоменатите промени, ще изрита като мръсни котки тонове СПАМ използващ безплатния характер на събдомейните за да генерира класиране в търсачката за много фрази, тъпчейки потребителите със гадна на вкус СПАМ-манджа-гювеч. Такъв вид спам до колкото разбрах от 3ти източници както и собствен опит са eBay. eBay – услугата за свободна търговия ранкваща се чрез събдомейни за всяка стока и джиджавка купувана/продавана на сайта. Като до колкото си спомням категориите търгове и аукциони бяха структурирани по категории чрез събдомейни. Друг вид глупости и боклуци, които Екопак „Гугъл“ смята да рециклира и изхвърли са идиотските афилиейт магазини от типа zlio.com . Нека им, да им се набие в главата на юзърите, че интернет бизнеса не е като да си направиш профил страница в myspace.
Друг аспект на тази коренна промяна при събдомейните в Гуглата е, че събдомейните вече няма да могат да се използват за външни фиктивни линкове. Това е една от методиките, които много успешно можеше до сега да се използва за засилване на класирането на главният ви домейн, естествено комбинирана със още няколко подправки. И повярвайте ми, наистина работеше зверски добре.
За сега ни остава да чакаме официалното появяване на тоз „мод“ в Гугъл и да наблюдаваме как точно ще ни повлияе той. А и все пак очакваме „Обществото отвръща на удара!“, тъй като тази новина беше току що оповестена. Както знаем не рядко обществеността е добър регулатор на идиотщините на Гугъл. Со кротсе, со благо..

Източник: http://www.seroundtable.com/archives/015621.html

Ако статията ви е харесала можете да се абонирате за RSS емисията ни