בלוג קידום אתרים, שיווק ופרסום באינטרנט ובמנועי חיפוש

למרות שרבים מבעלי האתרים והבלוגים יודעים מה זה robots.txt, שמתי לב כי ישנם מספר ניואנסים ושאלות החוזרות על עצמן בנושא, אפילו ע”י וובמסטרים מנוסים. בפוסט זה אני אנסה לסכם את הנושא, כמו גם להוסיף מספר הדגשים חשובים. משתמשים מנוסים ימצאו את החלק הראשון טריוויאלי, אבל אני ממליץ בחום לקרוא את החלק השני הכולל את ההדגשים.

robots.txt הינו קובץ טקסט, בפורמט מוסכם, שמאפשר לוובמסטר לתת הנחיות לבוטים (ספיידרים של מנועי החיפוש), לגבי חלקי אתר שאליהם נאסר עליו להכנס. כאשר מנוע רוצה להכנס לאתר www.your-site.com, הוא קודם כל פונה ל - www.your-site.com/robots.txt ומנסה למצוא בו אינפורמציה הנוגעת לו ספציפית, ואם לא קיימת כזו, אינפורמציה הנוגעת לכלל הבוטים.

את הקובץ יש ליצור באמצעות עורך טקסט פשוט, כגון notepad, ולהעלותו לספריה הראשית של האתר.

פורמט הקובץ הינו מקטעים של הנחיות הבנויים מ:
1. שם הבוט - כאן ניתן לספק שם ספציפי, או * כדי לייצג את כל הבוטים.
2. רשימת ספריות אליהן אסור להכנס.
 

דוגמה 1 - מניעה מכל הבוטים להכנס לכל הספריות והקבצים באתר: 

User-agent: *
Disallow: /

דוגמה 2 - מתן אפשרות לכל הבוטים להכנס לכל הספריות והקבצים באתר:

User-agent: *
Disallow:

דוגמה 3 - מניעה מכל הבוטים להכנס לשתי ספריות ספציפיות באתר:

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/

דוגמה 4 - מניעה מבוט ספציפי להכנס להכנס לכל הספריות והקבצים באתר:

User-agent: BadBot
Disallow: /

דוגמה 5 - מתן אפשרות רק לגוגל להכנס לכל הספריות והקבצים באתר. כל שאר הבוטים - חסומים.

User-agent: Google
Disallow:

User-agent: *
Disallow: /

דוגמה 6 - מניעת כניסה לקובץ ספציפי:

User-agent: *
Disallow: /~joe/junk.html

הדגשים:

1. קובץ ה - robots.txt אינו מונע כניסה לספריות והקבצים! הבוט יכול לבחור אם למלא את ההנחיות או לא. כמובן שהבוטים של המנועים הגדולים ממלאים אחר ההנחיות, אבל חשוב לזכור שלא מדובר במניעה טכנית מהבוט להכנס.

2. בהמשך ישיר ל - 1, אומנם הקובץ ימנע כניסה, אולם, אם קיים לינק ישיר ממקור אחר לקובץ שאנחנו מעוניינם לחסום - מנועי החיפוש יוכלו להוסיף אותו לאינדקס שלהם באמצעות המידע שיאספו מהעמוד שמכיל את הלינק.

3. הבוטים יחפשו קודם כל הנחיות ספציפיות המיועדות להם - אם קיימות הנחיות כאלו, הם ימלאו אחר הנחיות אלו בלבד ויתעלמו מהשאר.

4. גם אם אין ברצונכם למנוע מהבוטים להכנס לספריות מסויימות, אני ממליץ להעלות קובץ robots.txt המאפשר כניסה לכל הבוטים (דוגמה 2 למעלה), וזאת כדי למנוע מצב הקיים ברבות מפטלפורמות בנית האתרים, היוצרות עמוד ברירת מחדל לכל עמוד שאינו בנמצא (ניתן לקורא על כך בפוסט הזה), מה שעלול לבלבל את מנועי החיפוש ולמנוע אינדוקס תקין של האתר.

הנושא של תוכן משוכפל, בגלל חשיבותו הרבה, נטחן רבות בבלוג זה בעבר, ולכן אינני רוצה לשוב ולדון בנושא עצמו, אלא רק לחלוק עמכם מספר כלים למציאת תוכן משוכפל. בסוף הפוסט, אוסיף גם לינקים לפוסטים קודמים לגבי תוכן משוכפל למי שעוד לא קרא. חשיבות הכלים הללו רבה מכיוון שרוב הבלוגים היום, וגם רבים מהאתרים, נבנים בצורה אוטומטית ע”י תוכנות ניהול תוכן שונות (כגון וורדפרס), והשליטה שלנו איננה מלאה, ולא תמיד אנחנו יודעים מה קורה ברקע.

הנה רשימת הכלים, עם הסבר קצר ואופן השימוש:

1. גוגל וובמסטרס -  ליחצו על Diagnostics -> Content analysis ותקבלו את העמוד הבא, שמצביע על תוכן משוכפל ב- meta description  ו -meta title:

לחיצה על אחד האייטמים הבעיתיים, תוביל לעמוד הבא, בו ניתן לראות במדויק את תוכן ה - meta המשוכפל, כמו גם את העמודים הספציפיים הבעיתיים, הדורשים תיקון:

2. www.virante.com - מנתח מספר אלמנטים, כמו הפניית 301. שימו לב כי בבלוג שלי גם קיימת בעיה - אני לא עושה הפניית 301 מ - index.php לדומיין הראשי, מה שעלול ליצור בעיות:

3. www.copyscape.com - כלי שמחפש תוכן זהה לאתר שלך ברשת - נסו את הבלוג שלי ותראו כי רוב התוכן המשוכפל הינו מאמרים שלי באתרי מאמרים שונים בארץ. (ספציפית למקרה זה אין צורך לדאוג - הנה ההסבר).

אני ממליץ להשתמש בכלים אלו מדי פעם, ובמיוחד לאחר עדכון גירסה של וורדפרס או כל תוכנת ניהול תוכן אחרת. אשמח לשמוע אם ישנם עוד כלים בהם ניתן לעשות שימוש דומה.

הנה קריאה נוספת מומלצת בנוגע לתוכן משוכפל:

תוכן משוכפל וקישורי 301 ו - 302

כיצד להשתמש בתקצירי וורפרדס למניעת תוכן משוכפל וזירוז הטעינה

האם לחסום פידים ע”י NOINDEX כדי למנוע תוכן משוכפל?

כאשר אתה כותב פוסט נחמד ומושקע, ומאמין שהפוסט מעניין ופונה לקהל קוראים גדול, תמיד מועיל לדעת האם מישהו מקוראיך קידם אותו למענך, או אף שיגר אותו לאחר מאתרי השיתוף.מידע זה חשוב מכמה סיבות:

1. עמידה בציפיות - כך תוכל לדעת האם הפוסט אכן עניין קהל קוראים רחב ותוכל לבצע שינויים בהתאם בפוסטים עתידיים. כמו כן, קריאת התגובות לתוכן בבלוגים אחרים ובאתרי השיתוף תלמד אותך רבות אודות קהל קוראיך.

2. תוכל להשתתף בדיון שנוצר אודות הפוסט, להגיב ולעורר את הדיון במידת הצורך.

3. תוכל להודות לשולח, לתת לו קרדיט, וכך לעודד אותו לקדם את התוכן שוב.

4. במידה והפוסט קיבל תגובות רבות, תוכל להשוויץ בהצלחתו בקרב קהל קוראיך.

הנה מספר שירותים חינמיים שיוכלו לעזור לך לעקוב אחר הפוסטים שלך בפרט ואחר איזכורים של הבלוג שלך בכלל:

www.google.com/alerts - ניתן לכוונו לעקוב אחר מילת חיפוש, שם אתר, דומיין וכדומה, ולהודיע על הופעתם בווב, בבלוגים, באתרי חדשות, ווידאו או ניוזגרופס. כמו כן ניתן לכוונן את תדירות הבדיקות.

www.socialalerter.com - עוקב אחר פוסטים שלך באתרי השיתוף המובילים, ומודיע לך באם ישנו סיכוי כי אחד הפוסטים יגיע לרמת פופולריות גבוהה.

tweetbeep.com - במשפט אחד - מי מקשקש על האתר שלך בטוויטר

www.co.mments.com - עוקבים אחר תגובות בבלוגים

www.blogpulse.com - מספר כלים למעקב אחר טרנדים של הבלוג שלך

www.keotag.com - מי השתמש בשם בלוג שלך כטג

www.boardtracker.com - מעקב אחר איזכורי הבלוג שלך בפורומים

אני, באופן אישי, מוצא את עצמי, לאורך זמן, משתמש בעיקר בגוגל אלרטס, אבל אני ממליץ להעיף מבט ולנסות את שאר השירותים גם כן, שכן לכל אחד מהם יש את המיקוד שלו שיכול להתאים לצרכיך.