בלוג קידום אתרים, שיווק ופרסום באינטרנט ובמנועי חיפוש

למרות שרבים מבעלי האתרים והבלוגים יודעים מה זה robots.txt, שמתי לב כי ישנם מספר ניואנסים ושאלות החוזרות על עצמן בנושא, אפילו ע”י וובמסטרים מנוסים. בפוסט זה אני אנסה לסכם את הנושא, כמו גם להוסיף מספר הדגשים חשובים. משתמשים מנוסים ימצאו את החלק הראשון טריוויאלי, אבל אני ממליץ בחום לקרוא את החלק השני הכולל את ההדגשים.

robots.txt הינו קובץ טקסט, בפורמט מוסכם, שמאפשר לוובמסטר לתת הנחיות לבוטים (ספיידרים של מנועי החיפוש), לגבי חלקי אתר שאליהם נאסר עליו להכנס. כאשר מנוע רוצה להכנס לאתר www.your-site.com, הוא קודם כל פונה ל - www.your-site.com/robots.txt ומנסה למצוא בו אינפורמציה הנוגעת לו ספציפית, ואם לא קיימת כזו, אינפורמציה הנוגעת לכלל הבוטים.

את הקובץ יש ליצור באמצעות עורך טקסט פשוט, כגון notepad, ולהעלותו לספריה הראשית של האתר.

פורמט הקובץ הינו מקטעים של הנחיות הבנויים מ:
1. שם הבוט - כאן ניתן לספק שם ספציפי, או * כדי לייצג את כל הבוטים.
2. רשימת ספריות אליהן אסור להכנס.
 

דוגמה 1 - מניעה מכל הבוטים להכנס לכל הספריות והקבצים באתר: 

User-agent: *
Disallow: /

דוגמה 2 - מתן אפשרות לכל הבוטים להכנס לכל הספריות והקבצים באתר:

User-agent: *
Disallow:

דוגמה 3 - מניעה מכל הבוטים להכנס לשתי ספריות ספציפיות באתר:

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/

דוגמה 4 - מניעה מבוט ספציפי להכנס להכנס לכל הספריות והקבצים באתר:

User-agent: BadBot
Disallow: /

דוגמה 5 - מתן אפשרות רק לגוגל להכנס לכל הספריות והקבצים באתר. כל שאר הבוטים - חסומים.

User-agent: Google
Disallow:

User-agent: *
Disallow: /

דוגמה 6 - מניעת כניסה לקובץ ספציפי:

User-agent: *
Disallow: /~joe/junk.html

הדגשים:

1. קובץ ה - robots.txt אינו מונע כניסה לספריות והקבצים! הבוט יכול לבחור אם למלא את ההנחיות או לא. כמובן שהבוטים של המנועים הגדולים ממלאים אחר ההנחיות, אבל חשוב לזכור שלא מדובר במניעה טכנית מהבוט להכנס.

2. בהמשך ישיר ל - 1, אומנם הקובץ ימנע כניסה, אולם, אם קיים לינק ישיר ממקור אחר לקובץ שאנחנו מעוניינם לחסום - מנועי החיפוש יוכלו להוסיף אותו לאינדקס שלהם באמצעות המידע שיאספו מהעמוד שמכיל את הלינק.

3. הבוטים יחפשו קודם כל הנחיות ספציפיות המיועדות להם - אם קיימות הנחיות כאלו, הם ימלאו אחר הנחיות אלו בלבד ויתעלמו מהשאר.

4. גם אם אין ברצונכם למנוע מהבוטים להכנס לספריות מסויימות, אני ממליץ להעלות קובץ robots.txt המאפשר כניסה לכל הבוטים (דוגמה 2 למעלה), וזאת כדי למנוע מצב הקיים ברבות מפטלפורמות בנית האתרים, היוצרות עמוד ברירת מחדל לכל עמוד שאינו בנמצא (ניתן לקורא על כך בפוסט הזה), מה שעלול לבלבל את מנועי החיפוש ולמנוע אינדוקס תקין של האתר.

הנושא של תוכן משוכפל, בגלל חשיבותו הרבה, נטחן רבות בבלוג זה בעבר, ולכן אינני רוצה לשוב ולדון בנושא עצמו, אלא רק לחלוק עמכם מספר כלים למציאת תוכן משוכפל. בסוף הפוסט, אוסיף גם לינקים לפוסטים קודמים לגבי תוכן משוכפל למי שעוד לא קרא. חשיבות הכלים הללו רבה מכיוון שרוב הבלוגים היום, וגם רבים מהאתרים, נבנים בצורה אוטומטית ע”י תוכנות ניהול תוכן שונות (כגון וורדפרס), והשליטה שלנו איננה מלאה, ולא תמיד אנחנו יודעים מה קורה ברקע.

הנה רשימת הכלים, עם הסבר קצר ואופן השימוש:

1. גוגל וובמסטרס -  ליחצו על Diagnostics -> Content analysis ותקבלו את העמוד הבא, שמצביע על תוכן משוכפל ב- meta description  ו -meta title:

לחיצה על אחד האייטמים הבעיתיים, תוביל לעמוד הבא, בו ניתן לראות במדויק את תוכן ה - meta המשוכפל, כמו גם את העמודים הספציפיים הבעיתיים, הדורשים תיקון:

2. www.virante.com - מנתח מספר אלמנטים, כמו הפניית 301. שימו לב כי בבלוג שלי גם קיימת בעיה - אני לא עושה הפניית 301 מ - index.php לדומיין הראשי, מה שעלול ליצור בעיות:

3. www.copyscape.com - כלי שמחפש תוכן זהה לאתר שלך ברשת - נסו את הבלוג שלי ותראו כי רוב התוכן המשוכפל הינו מאמרים שלי באתרי מאמרים שונים בארץ. (ספציפית למקרה זה אין צורך לדאוג - הנה ההסבר).

אני ממליץ להשתמש בכלים אלו מדי פעם, ובמיוחד לאחר עדכון גירסה של וורדפרס או כל תוכנת ניהול תוכן אחרת. אשמח לשמוע אם ישנם עוד כלים בהם ניתן לעשות שימוש דומה.

הנה קריאה נוספת מומלצת בנוגע לתוכן משוכפל:

תוכן משוכפל וקישורי 301 ו - 302

כיצד להשתמש בתקצירי וורפרדס למניעת תוכן משוכפל וזירוז הטעינה

האם לחסום פידים ע”י NOINDEX כדי למנוע תוכן משוכפל?

כאשר אתה כותב פוסט נחמד ומושקע, ומאמין שהפוסט מעניין ופונה לקהל קוראים גדול, תמיד מועיל לדעת האם מישהו מקוראיך קידם אותו למענך, או אף שיגר אותו לאחר מאתרי השיתוף.

מידע זה חשוב מכמה סיבות:

1. עמידה בציפיות - כך תוכל לדעת האם הפוסט אכן עניין קהל קוראים רחב ותוכל לבצע שינויים בהתאם בפוסטים עתידיים. כמו כן, קריאת התגובות לתוכן בבלוגים אחרים ובאתרי השיתוף תלמד אותך רבות אודות קהל קוראיך.

2. תוכל להשתתף בדיון שנוצר אודות הפוסט, להגיב ולעורר את הדיון במידת הצורך.

3. תוכל להודות לשולח, לתת לו קרדיט, וכך לעודד אותו לקדם את התוכן שוב.

4. במידה והפוסט קיבל תגובות רבות, תוכל להשוויץ בהצלחתו בקרב קהל קוראיך.

הנה מספר שירותים חינמיים שיוכלו לעזור לך לעקוב אחר הפוסטים שלך בפרט ואחר איזכורים של הבלוג שלך בכלל:

לחץ כאן להמשך קריאה…

שאלה שעולה שוב ושוב נוגעת להבדל שבין טג התמונות alt מול ה - title, ואני מקבל את הרושם שבעלי אתרים רבים אינם מבחינים בין שני הטגים. נתקלתי באותה שאלה גם בבלוג הוובמסטרס של גוגל ולכן החלטתי לפרט בנושא גם פה כדי לעשות סדר:

Alt Text - שימושו הראשי הוא לספק מידע אלטרנטיבי (alternate) לתמונה שלא נטענה עקב אחד מהמקרים הבאים:
1. המשתמש ביטל את השימוש בתמונות בדפדפן.
2. התמונה לא קיימת, מכל סיבה שהיא.
3. דפדפנים המיועדים למתקשים בראיה משתמשים בטג זה להשמעת תאור התמונה.
אי לכך, טג זה אמור לתאר את התמונה ולעזור למשתמש לו התמונה לא נטענה להבין במה מדובר. מבחינת אופטימיזציה, טג ה - alt הינו הטג המרכזי אותו בודק גוגל בהקשר לתמונה (מתוך גוגל וובמסטרס סנטרל).

Title - טג זה נותן אפשרות לבעל האתר לחלוק מידע נוסף הנוגע לתמונה, כאשר כל הכללים החלים על ה - title הראשי של האתר חלים גם כאן, כלומר עליו להיות תמציתי, קצר ורלוונטי לתמונה כמובן.

כמו כן, טגים אלו משמשים כ -tooltip כאשר עוברים על התמונה עם העכבר (תלוי דפדפן).

לחץ כאן להמשך קריאה…

סינדיקציה של מאמרים הינה טכניקה פופולרית הנמצאת בשימוש הן ע”י כותבי המאמרים, והן ע”י בעלי אתרים המפרסמים מאמרים שנכתבו ע”י אחרים באתריהם. כאן עולה השאלה האם כותבי המאמרים ו/או בעלי האתרים חשופים לענישה בגין תוכן משוכפל. אני אפרט לגבי שני המקרים:

סינדיקציה של מאמר שכתבת באתרים אחרים

במקרה הזה, אין כל חשש - אתה הכותב המקורי של המאמר, אולם, כדאי לעקוב אחר ההנחיות הבאות:

• בסיום הכתיבה, ובטרם תשחרר את המאמר לסינדיקציה, וודא כי הוא פורסם באתרך ואונדקס ע”י מנועי החיפוש. כך, תקבל את הקרדיט ממנועי החיפוש ככותב המקורי, ולר לא יהיה חשש כי מישהו יפרסם את המאמר לפניך ויהנה מחשיפה על חשבונך.
• לא פחות חשוב, יש לשלב במאמר קישורים חוזרים למאמר המקורי באתרך, וזאת כדי לחזק את אמינותך ככותב המקורי. קישורים חוזרים למאמר באתרך ידגישו כי אתה הכותב המקורי ויגדיל רבות את הסיכויים שאתרך יופיע ראשון במנועי החיפוש בחיפושים הקשורים לתוכנו.

לחץ כאן להמשך קריאה…

פנייה לעזרה שקיבלתי במסגרת ייעוץ חינם, הנוגעת לאתר אודות בנימין נתניהו (http://www.bnetanyahu.com):

שלום,
כל נסיונותיי לקדם את האתר עלו בתוהו, מה לעשות?
אני מקדם את האתר במילים: ביבי נתניהו, בנימין נתניהו.
האם לדעתך יש לאתר פוטנציאלויהיה ניתן לקדם אותו בעצמי?
מה אתה חושב על המתחרים?והאם איך שהאתר בנוי יש בעיה שעוצרת את התנופה המיועדת לקידום האתר?

להלן מספר נקודות בעייתיות שניתן לשפר בקלות יחסית:

1. חיפוש בגוגל אחר site:www.bnetanyahu.com מראה תוצאות של מספר עמודים פנימיים בלבד (נכון לזמן כתיבת הבלוג), אף לא אחד מהם הינו עמוד הבית. זה מעלה שתי שאלות:
א. מדוע עמוד הבית לא באינדקס?
ב. מדוע לא כל העמודים הפנימיים מופיעים באינדקס?

ובכן, לגבי עמוד הבית, ומכיוון שכותרות ה - HTTP תקינות, אני חושד כי הבעיה טמונה בתוכן משוכפל - עמוד הבית הינו http://www.bnetanyahu.com ואילו הקישורים הפנימיים מפנים ל - http://www.bnetanyahu.com/index.php, המציג את אותו התוכן.
הפתרון: שינוי הקישורים הפנימיים ל - http://www.bnetanyahu.com בלבד, ללא ה - index.php. לאחר מכן, ביצוע הפניית 301 מה - index.php ל - http://www.bnetanyahu.com.

לגבי מיעוט העמודים - באתר אין כמעט קישורים פנימיים!
הפתרון: הוספת ארכיון, הוספת קישור מכל כתבה לכתבה הבאה והקודמת, שילוב קישורים פנימיים רלוונטיים בתוך הכתבות עצמן. כמו כן, יש להירשם לגוגל וובמסטרס ולהעלות מפת אתר.

לחץ כאן להמשך קריאה…

לא אחת אני נתקל בשאלות לגבי אופטימיזציה של אתרי פלאש, ובפוסט זה אנסה לסכם כמה טיפים עקרוניים לגבי אתרי פלאש, ששמירה עליהם תביא לתוצאות סבירות, למרות המגבלות הידועות. טיפים אלו ידועים כמובן זה מכבר ואף גוגל פירטו את הדרכים הרצויות לאופטימיזציה אתרי פלאש.

הבעיה:
אתרי פלאש נבנו עבור עין האדם. לבוטים של מנועי החיפוש אין עיניים, ולכן בלתי אפשרי עבורם לתרגם את המראה למילים בצורה יותר מסבירה. מנועי החיפוש יכולים אומנם להבין את הקישורים אולם אינן יכולים לקשר אותם לקונטקסט מסויים, שכן התוכן עצמו הינו מובנה בקבצי הפלאש עצמם. זו הסיבה שעל אף שאתרי פלאש רבים נמצאים באינדקסים השונים, יחסר למנוע מידע קונטקסטואלי רב לגבי האתר.

הפתרון:
לחץ כאן להמשך קריאה…

בפוסט הקודם הקדמתי קצת את המאוחר והמלצתי כיצד לנהוג בעמודי מוצרים שכבר אינם מוצאים למכירה. מדוע הקדמתי את המאוחר? מכיוון שבדרך כלל, הבעיה עם עמודי מוצרים הינה חמורה בהרבה, שכן עמודי המוצרים עצמם נותרים מוזנחים בכל הנוגע לאופטימיזציה. אם נחשוב על כך מעט יותר לעומק, דווקא עמודים אלו הינם קלים לאופטימיזציה ומקור בלתי נדלה לתוכן רב, ואף עדכני.

הנה מספר נקודות שיש להקפיד עליהן בעמודי מוצרים כדי לנצל את מלוא כוחם:

1. תיאורי המוצרים - רבים מאתרי האי-קומרס, ואף הגדולים שביניהם בארץ, משתמשים כולם באותו תיאור מוצר - תיאור המוצר אותו קיבלו מהספק. שימוש שכזה יוביל לפגיעה במיקומים כתוצאה מתוכן משוכפל. רצוי להשקיע מעט בתיאור מקורי וייחודי של המוצר, כמו גם לשלב בו מילות מפתח רלוונטיות.

2. חוות דעת לקוחות - חוות דעת לקוחות הינן מקור בלתי נדלה לתוכן חדש ועדכני, החשוב מעין כמוהו למנועי החיפוש. כמו כן, לאחר בניית הפלטפורמה לכך, התוכן ייווצר באופן אוטומטי ע”י הלקוחות, ללא כל צורך בהשקעה קבועה והעסקת אנשי תוכן.

3. תמונות ווידאו - החיפוש האוניברסלי של גוגל פותח אין ספור אפשרויות לאופטימיזצית תמונות ווידאו. עמודי המוצרים מכילים תמונות, אז מדוע לא להשקיע מעט יותר ולוודא שהתמונות וקטעי הווידאו יהיו ידידותיים למנועי החיפוש גם כן? יותר מכך - ניתן לעודד את הלקוחות להעלות קטעי ווידאו בתור חוות הדעת למוצר:

החיפוש האוניברסלי של גוגל - והעיקר לא לפחד כלל

כיצד לנצל את חיפוש התמונות והוידאו בגוגל באופן אופטימלי

כיצד לנצל את חיפוש התמונות והוידאו בגוגל באופן אופטימלי - חלק שני

לחץ כאן להמשך קריאה…

אתרים מסחריים שמציעים רשת רחבה של מוצרים, ויותר מכך, רשת דינמית של מוצרים שמשתנים מדי יום, בעלי כתובות URL דינמיות, הם בד”כ אתרים קשי-אופטימיזציה באופן יחסי. זאת ועוד - אתרים אלו נתונים בד”כ למגבלות של תוכנות האי-קומרס, שלא כולן מאפשרות גמישות מספקת. הבעיה מחמירה כאשר בעל אתר שכזה אינו נותן דעתו לעמודים של מוצרים שכבר אינם בנמצא.

הפתרונות של רבות מפלטפורמות האי-קומרס כוללים מספר אפשרויות, רובן ככולן מזיקות:

1. מחיקת העמוד עצמו כאשר המוצר כבר אינו מוצע יותר - כלומר, איבוד מיידי של תנועה לעמוד הספיציפי שהיינו מקבלים עד ליום מחיקתו.
2. החזרת עמודי 404 בעלי כותרת HTTP 200 - כלומר, מנוע החיפוש חושב שהעמוד קיים, אולם מקבל תוכן של 404, מה שמביא, לאחר זמן מה, להופעה של מאות עמודים (כמספר המוצרים שכבר אינם בנמצא) בעלי אותו תוכן של 404 במנועי החיפוש - תוכן משוכפל שיביא לבסוף לחסימת האתר כולו.
3. הפניית 301 לעמוד הראשי - הרע במיעוטו, אולם, אנו מאבדים במקרה הזה תנועה ממוקדת של חיפוש מוצר ספציפי, ולאורך זמן, האתר לא יופיע עוד במנועי החיפוש כתוצאה למילה הקשורה לאתר שכן העמוד הסופי אינו מכיל תוכן ספציפי למילה.

לחץ כאן להמשך קריאה…

בשעה טובה החלטת לרשום דומיין חדש. לשמחתך, הדומיין שרצית הינו פנוי וכל מה שנשאר זה לרוץ לשרות הרישום החביב עליך ולקנות את הדומיין, נכון? בהחלט לא! רבים אולי מאמינים שברגע שהדומיין פנוי, ניתן לקנות אותו ובזה נגמר בסיפור, אולם, בהתחשב בכמות הזמן והמאמצים שיושקעו בדומיין בעתיד, אני ממליץ מאוד לבצע עוד כמה בדיקות פשוטות ומהירות. הבדיקות יכללו שני מרכיבים עיקריים - בדיקה האם שם הדומיין היה רשום בעבר, ואם כן - האם היה דומיין בעייתי, והאם קיימות קורלציות שליליות לשם הדומיין:

לחץ כאן להמשך קריאה…