65,800

انتخاب نام دامنه

72,300

ویدئو آموزشی

8:2

هاست یا سرور

145,350

ویدئو آموزشی

16:9

وب سرور چیست با ذکر چند مثال

108,750

ویدئو آموزشی

12:5

چه زبان برنامه نویسی مناسب وب است؟

107,100

ویدئو آموزشی

11:54

URL SEF چیست؟

371,280

ویدئو آموزشی

29:28

کنونیکال چیست؟

100,200

ویدئو آموزشی

11:8

ریدایرکت چیست و چرا از آن استفاده می‌کنیم؟

19,650

ویدئو آموزشی

2:11

ریدایرکت بوسیله کلاد فلیر

85,995

ویدئو آموزشی

7:21

ریدایرکت بوسیله وب سرور

86,760

ویدئو آموزشی

8:2

ریدایرکت بوسیله برنامه نویسی Back end

48,510

ویدئو آموزشی

3:51

ریدایرکت بوسیله برنامه نویسی front-end

24,750

ویدئو آموزشی

2:45

ریدایرکت chain و ریدایرکت loop چیست؟

122,700

ویدئو آموزشی

13:38

لینک به صفحه‌ای که خود ریدایرکت می‌شود

42,660

ویدئو آموزشی

3:57

تفاوت ریدایرکت ۳۰۱ و ۳۰۲

45,450

ویدئو آموزشی

5:3

برای ریدایرکت کامل دامنه از کدام ریدایرکت استفاده کنیم؟

31,050

ویدئو آموزشی

3:27

ریدایرکت تعداد زیادی صفحه چگونه است

106,800

ویدئو آموزشی

11:52

ریدایرکت حجم بالا بوسیله فایل csv و htaccess

15,210

ویدئو آموزشی

2:18

صفحه کاستوم ۴۰۴ چیست؟

42,900

ویدئو آموزشی

4:46

آیا از کاراکترهای فارسی در URL استفاده بکنیم؟

80,100

ویدئو آموزشی

8:54

خطای soft 404

117,000

ویدئو آموزشی

12:59

کنیبال چیست چطور رفعش کنیم

123,150

ویدئو آموزشی

13:41

رفع کنیبالیزیشن به روش Promote و Demote

50,850

ویدئو آموزشی

5:39

مفهوم AJAX چیست و چطور کار می‌کند

73,350

ویدئو آموزشی

8:9

صفحه فرود یا لندینگ پیج چیست؟

34,500

ویدئو آموزشی

3:50

فایل htaccess چیست و چه می‌کند؟

108,600

ویدئو آموزشی

12:4

ریدایرکت صفحه با www و بدون www

108,400

ویدئو آموزشی

9:2

پروتکل http چیست و چه تفاوتی با https دارد؟

64,800

ویدئو آموزشی

5:24

سئو سایت چند زبانه

179,600

ویدئو آموزشی

14:58

کراولر با لینک چطور برخورد می‌کند؟

کراولر یا وب‌کراولر یک نرم‌افزار خودکار است که وظیفه دنبال کردن و جمع‌آوری اطلاعات از وب‌سایت‌ها را بر عهده دارد. وب‌کراولر هنگام برخورد با لینک‌ها در یک وب‌سایت به صورت خودکار به سراغ آنها می‌رود و صفحات مرتبط را جستجو و دانلود می‌کند.

 

هنگام برخورد با لینک، کراولر ابتدا بررسی می‌کند که آیا لینک به یک صفحه وجود دارد یا خیر. اگر لینک وجود نداشته باشد، کراولر آن را نادرست می‌داند و به بخش بعدی می‌رود. اما اگر لینک معتبر باشد، کراولر آن را به "صف" خود اضافه و صفحه مربوطه را برای پردازش و دانلود محتوا بعدی آن انتخاب می‌کند.

 

بعضی از وب‌کراولرها ممکن است از تکنیک‌های مختلفی برای برخورد با لینک‌ها استفاده کنند مانند محدودیت پهنای باند، رفتار مشخص شده، اجرای اسکریپت‌های جاوا اسکریپت و غیره. این تکنیک‌ها بسته به نیاز و تنظیمات مخصوص هر کراولر ممکن است متفاوت باشد.