ক্যাশে ওয়ার্মার্স

আপনার পৃষ্ঠাগুলি ক্রল করে এবং সেগুলিকে ক্যাশে রাখে এমন ওয়েবসাইট ওয়ার্মারগুলি তৈরি করুন, চালান এবং পরিচালনা করুন৷

11 মিনিট পড়া

একটি ক্যাশে ওয়ার্মার আপনার ওয়েবসাইটকে HTTP এর উপরে ক্রল করে এবং এর পৃষ্ঠাগুলিকে ক্যাশে রাখে। এই পৃষ্ঠাটি একটি তৈরি করা, এটি চালানো এবং ফলাফল পড়া কভার করে। ফর্মের প্রতিটি বিকল্পের ক্ষেত্র-দ্বারা-ক্ষেত্র ব্যাখ্যার জন্য, উষ্ণ সেটিংস দেখুন।

ওয়ার্মার্স অ্যাকাউন্ট → ওয়ার্মার্স এর অধীনে থাকে।

আপনি শুরু করার আগে

আপনার একটি যাচাইকৃত হোস্টনাম প্রয়োজন। একটি অযাচাই করা ডোমেনে এন্ট্রি URLs প্রত্যাখ্যান করা হয়। হোস্টনাম যাচাইকরণ দেখুন।

একটি উষ্ণতা তৈরি করা

অ্যাড ওয়ার্মার এ ক্লিক করুন। ফর্মটি বিভাগগুলিতে বিভক্ত, এবং শুধুমাত্র দুটি ক্ষেত্র প্রকৃতপক্ষে প্রয়োজন: একটি নাম এবং একটি এন্ট্রি URL৷

  1. 1

    কনফিগার করার সময় সক্রিয় বন্ধ রাখুন

    একবার আপনি সেটিংসে খুশি হলে ইচ্ছাকৃতভাবে এটি চালু করুন। একটি নিষ্ক্রিয় ওয়ার্মার কখনই দৌড়ে না এবং কখনই আপনার কিছু খরচ করে না।

  2. 2

    আপনার ভবিষ্যতের জন্য এটির নাম দিন

    "প্রধান সাইট", "দোকান — বিভাগ", "ডক্স"। নামটি শুধুমাত্র আপনাকে এবং আপনার সতীর্থদের দেখানো হয়।

  3. 3

    এন্ট্রি যোগ করুন URLs

    সম্পূর্ণ পরম URLs সহ https://। আপনার হোমপেজ স্বাভাবিক পছন্দ.

  4. 4

    উপলব্ধ থাকলে সাইটম্যাপ অন্তর্ভুক্ত করুন চালু করুন

    বেশিরভাগ সাইটের জন্য একক সর্বোচ্চ-মূল্যের বিকল্প। আপনার CMS ইতিমধ্যেই উষ্ণায়নের যোগ্য পৃষ্ঠাগুলির তালিকা বজায় রেখেছে৷

  5. 5

    আপনি তাদের প্রয়োজন হলে বর্জন সেট করুন

    অ্যাডমিন পাথ, কার্ট এবং অন্তহীন ফিল্টার URLs সারি থেকে দূরে রাখুন৷

  6. 6

    বিচক্ষণতা - সীমা পরীক্ষা করুন

    গভীরতা এবং সর্বোচ্চ URLs প্রতি মিনিট নির্ধারণ করে যে এই উষ্ণতা কতটা বড় এবং কতটা আক্রমণাত্মক। ডিফল্ট বেশিরভাগ সাইটের জন্য উপযুক্ত।

  7. 7

    সংরক্ষণ করুন, তারপর সক্রিয় করুন

    ওয়ার্মার তৈরি করুন, একবার হাত দিয়ে চালান, ফলাফলগুলি পরীক্ষা করুন এবং শুধুমাত্র তারপর এটি একটি সময়সূচীতে চলমান রেখে দিন।

এন্ট্রি নির্বাচন করা হচ্ছে URLs

একটি এন্ট্রি URL যেখানে একটি রান শুরু হয়৷ বেশির ভাগ সাইটের প্রয়োজন ঠিক একটি - হোমপেজ - কারণ সাইটম্যাপ এবং লিঙ্ক আবিষ্কার অন্য সবকিছু খুঁজে পায়।

অতিরিক্ত এন্ট্রি URLs যোগ করুন যখন হোমপেজ থেকে আপনার গভীরতার সীমার মধ্যে একটি বিভাগ পৌঁছানো যায় না:

  • একটি প্রচারাভিযান ল্যান্ডিং পৃষ্ঠা যা শুধুমাত্র বিজ্ঞাপন থেকে লিঙ্ক করা হয়।
  • একটি গভীর বিভাগ যা হোমপেজ থেকে চারটি ক্লিকে বসে।
  • একটি দ্বিতীয় যাচাইকৃত সাবডোমেন, যেমন blog.example.com
  • একটি সাইটম্যাপ সূচী, যদি আপনি এটিতে সরাসরি নির্দেশ করতে চান।

আপনার সাইট আসলে যে URL পরিবেশন করে তার সাথে মেলে

যদি https://example.com https://www.example.com এ পুনঃনির্দেশ করে, www ফর্মটি ব্যবহার করুন। অন্যথায় প্রতিটি অনুরোধ প্রকৃত পৃষ্ঠা উষ্ণ করার পরিবর্তে একটি পুনঃনির্দেশ অনুসরণ করে সময় ব্যয় করে এবং আপনার ফলাফল 301 সারি পূর্ণ হবে।

সাইটম্যাপ ব্যবহার করে

সাইটম্যাপ হল একটি সাইট সম্পূর্ণরূপে কভার করার সবচেয়ে নির্ভরযোগ্য উপায়, কারণ আপনার CMS বা SEO প্লাগইন সেগুলিকে স্বয়ংক্রিয়ভাবে আপ টু ডেট রাখে৷ যখন একটি নতুন পৃষ্ঠা প্রকাশিত হয় তখন এটি সাইটম্যাপে প্রদর্শিত হয়, এবং পরবর্তী উষ্ণ দৌড় আপনি কিছু স্পর্শ না করেই এটিকে তুলে নেয়।

সাইটম্যাপ অন্তর্ভুক্ত করুন চালু করুন এবং ঐচ্ছিকভাবে সাইটম্যাপ URL নিজেই একটি এন্ট্রি হিসেবে যোগ করুন URL:

text
https://www.example.com/sitemap.xml
https://www.example.com/sitemap_index.xml
https://www.example.com/post-sitemap.xml

অন্যান্য সাইটম্যাপের দিকে নির্দেশ করে এমন সাইটম্যাপ সূচী অনুসরণ করা হয়। এটি বড় WordPress এবং WooCommerce সাইটগুলিতে গুরুত্বপূর্ণ, যেখানে সূচকটি সাধারণত পৃথক পোস্ট, পৃষ্ঠা এবং পণ্য সাইটম্যাপে বিভক্ত হয়।

Tip

সাইটম্যাপ সক্ষম করে আপনি সাধারণত আপনার গভীরতা সেটিং *কম* করতে পারেন। সাইটম্যাপ গভীর পৃষ্ঠাগুলিকে সরাসরি তালিকাভুক্ত করে, তাই সেগুলিতে লিঙ্ক-বাই-লিঙ্ক ক্রল করার প্রয়োজন নেই।

URLs বাদে

কিছু URLs কখনই উষ্ণ করা উচিত নয়। সেগুলিকে বাদ দেওয়া URLs-এ যোগ করুন:

বাদ দিনকেন
/cart, /checkout, /my-accountদর্শক প্রতি ব্যক্তিগতকৃত. তাদের উষ্ণ করা অর্থহীন এবং একজন ব্যক্তির সেশন ক্যাশ করার ঝুঁকি।
/cart, /checkout, /my-accountঅ্যাডমিন এলাকা কখনও ক্যাশে করা হয় না, এবং তাদের উষ্ণ করা অনুরোধগুলি নষ্ট হয়।
ফিল্টার এবং বাছাই ক্যোয়ারী স্ট্রিংURLs এর মত ?color=red&sort=price অবিরাম একত্রিত হবে এবং আপনার সারিতে প্লাবিত হবে।
WordPressঅসীম URL স্থান। অনুসন্ধান ফলাফল পৃষ্ঠাগুলি খুব কমই ক্যাশ করার যোগ্য।
ফিড এবং এন্ডপয়েন্ট আপনি মানুষের জন্য পরিবেশন করেন নাসাধারণত অনুরোধ বাজেট মূল্য না.

এটি অন্তর্ভুক্ত প্ল্যানগুলিতে, Regex ব্যবহার করুন আক্ষরিক স্ট্রিংগুলির পরিবর্তে বর্জনগুলিকে প্যাটার্ন হতে দেয়, যা ক্যোয়ারী-স্ট্রিং পরিবারের জন্য অনেক বেশি ব্যবহারিক৷

একটি উষ্ণ চলমান

একবার সক্রিয় হয়ে গেলে, একজন উষ্ণ প্রতি স্বয়ংক্রিয় শুরুর ব্যবধান সেকেন্ডে একটি নতুন দৌড় শুরু করে। আপনি উষ্ণতার তালিকা থেকে অবিলম্বে একটি শুরু করতে পারেন, যা কনফিগারেশন পরিবর্তন পরীক্ষা করার সময় আপনি চান।

রানগুলি বাহ্যিকভাবেও ট্রিগার করা যেতে পারে — একটি স্থাপনের পরে, বা CDN পরিস্কারের অংশ হিসাবে। ডিপ্লয় ট্রিগার এবং CDN ইন্টিগ্রেশন দেখুন।

ফলাফল পড়া

এটি কী করেছে তা দেখতে একটি ওয়ার্মার খুলুন। শীর্ষ জুড়ে সংক্ষিপ্ত পরিসংখ্যান পুরো রান কভার করে:

চিত্রঅর্থ
মোট URLsকত URLs রান ছুঁয়েছে।
সম্পূর্ণ সাফল্যকতজন একটি সফল স্ট্যাটাস কোড ফিরিয়ে দিয়েছে।
মোট ব্যর্থকত ভুল হয়েছে। একটি মুষ্টিমেয় একটি বড় সাইটে স্বাভাবিক; অনেক মানে কিছু ভুল।
গড় প্রথম লোডমানে ঠান্ডা প্রতিক্রিয়া সময়, সেকেন্ডের মধ্যে।
গড় সেকেন্ড লোডউষ্ণ প্রতিক্রিয়া সময় মানে. যথেষ্ট কম হওয়া উচিত।
মোট সময়কালরানের জন্য দেয়াল ঘড়ির সময়।
গতি (পৃষ্ঠা/মিনিট)প্রকৃত থ্রুপুট অর্জন করা হয়েছে, যা আপনার কনফিগার করা সিলিং এর নিচে হতে পারে।

এর নীচে URL প্রতি একটি সারি, হোস্টনাম, URL, গভীরতা, স্ট্যাটাস কোড, ব্যবহারকারী এজেন্ট, বিষয়বস্তুর ধরন, বিষয়বস্তুর দৈর্ঘ্য, এটি শেষবার কখন ক্রল করা হয়েছিল এবং উভয় লোডের সময় দেখাচ্ছে৷

কি ভালো লাগছে

  • স্ট্যাটাস কোড অপ্রতিরোধ্য 200
  • দ্বিতীয় লোড সময় প্রথম লোড সময়ের একটি ভগ্নাংশ.
  • URL গণনা মোটামুটি মেলে যে আপনি কতগুলি পৃষ্ঠা থাকতে চান৷
  • ব্যর্থতা বিরল এবং ব্যাখ্যাযোগ্য।

কি তদন্ত করতে হবে

উপসর্গসম্ভবত কারণ
প্রচুর 403 বা 429একটি বট ফিল্টার, WAF বা রেট লিমিটার ক্রলারকে ব্লক করছে। আপনার হারের সীমা কম করুন এবং অনুমতি-তালিকা বিবেচনা করুন।
প্রচুর 301 / 302আপনার এন্ট্রি URLs বা অভ্যন্তরীণ লিঙ্কগুলি পুনঃনির্দেশিত ঠিকানাগুলিতে নির্দেশ করে৷
প্রচুর 404ভাঙা অভ্যন্তরীণ লিঙ্ক, বা বর্জন যা একটি খারাপ URL পরিবার ধরছে না।
5xx ত্রুটিআপনার মূল সংগ্রাম হয়. অবিলম্বে প্রতি মিনিটে সর্বোচ্চ URLs কম করুন।
উভয় লোড সময় সমানভাবে ধীরপৃষ্ঠাগুলি মোটেই ক্যাশে করা হচ্ছে না। এটি একটি ক্যাশিং কনফিগারেশন সমস্যা, একটি উষ্ণতা নয়।
প্রত্যাশার চেয়ে অনেক কম URLsগভীরতা খুব কম, সাইটম্যাপ বন্ধ, বা বর্জনগুলি খুব বিস্তৃত।
প্রত্যাশার চেয়ে অনেক বেশি URLsগভীরতা খুব বেশি, অথবা ফেসেড কোয়েরি-স্ট্রিং URLs আবিষ্কৃত হচ্ছে। বর্জন যোগ করুন।

আপনার কতগুলো উষ্ণতা থাকা উচিত?

একটি সাইট প্রতি একটি উষ্ণ স্বাভাবিক শুরু বিন্দু. যখন আপনার সাইটের বিভিন্ন অংশ সত্যিকারের ভিন্ন ট্রিটমেন্টের যোগ্য হয় তখন কয়েকটিতে বিভক্ত করুন:

  • অগ্রাধিকার অনুসারে — আপনার হোমপেজ এবং শীর্ষ ল্যান্ডিং পৃষ্ঠাগুলির জন্য একটি ছোট, ঘন ঘন উষ্ণ, এবং লম্বা লেজের জন্য একটি বড়, ধীর।
  • বিভাগ অনুসারে — আঁটসাঁট বর্জন সহ একটি স্টোর উষ্ণতর, এবং সাইটম্যাপ এবং গভীর ক্রলিং সহ একটি পৃথক ব্লগ উষ্ণ৷
  • হোস্টনাম দ্বারা — পৃথক সাবডোমেনগুলি সাধারণত আলাদা ওয়ার্মার হিসাবে পরিষ্কার হয়।
  • ক্লায়েন্ট দ্বারা — এজেন্সিগুলিকে সবকিছু একসাথে মিশ্রিত করার পরিবর্তে ক্লায়েন্ট প্রতি একটি ওয়ার্কস্পেস ব্যবহার করা উচিত।

উচ্চ-ফ্রিকোয়েন্সি / কম-ফ্রিকোয়েন্সি প্যাটার্ন

একটি খুব কার্যকর সেটআপ: একটি উষ্ণ আপনার দশটি সবচেয়ে গুরুত্বপূর্ণ URLs গভীরতা 0 এ কভার করে, প্রতি কয়েক মিনিটে চলমান; এবং একটি সেকেন্ড সাইটম্যাপের মাধ্যমে অন্য সব কিছুকে কভার করে, প্রতি ঘণ্টায় চলছে। আপনার সমালোচনামূলক পৃষ্ঠাগুলি কখনই ঠান্ডা হয় না, পুরো ক্যাটালগটিকে ক্রমাগত উষ্ণ না করে।

সম্পাদনা এবং মুছে ফেলা

একটি উষ্ণ সম্পাদনা পরবর্তী রানে কার্যকর হয়; একটি রান ইতিমধ্যেই চলছে তার পূর্ববর্তী সেটিংসের সাথে শেষ হয়। মুছে ফেলার ফলে কনফিগারেশন এবং এর ইতিহাস মুছে যায় এবং পূর্বাবস্থায় ফেরানো যাবে না — আপনি যদি এটিকে সাময়িকভাবে বন্ধ করতে চান, তাহলে পরিবর্তে সক্রিয় বন্ধ করুন।