আমাদের এই কোর্সটা খুবই বাস্তবসম্মত একটা কোর্স। যা শিখবেন সেটাই পরে কাজে আসবে। আমি একটা সংক্ষিপ্ত সিলেবাস দিয়ে দিচ্ছি।
ওয়েব অটোমেশন এর বিভিন্ন আলাদা বিষয়গুলো সম্পর্কে জানব। এবং আমাদের কোর্সের জন্য প্রয়োজনীয় নোড, ডকার ও লিনাক্সের সেটাপ করে নিব।
ব্রাউজার ছাড়া কিভাবে ডাটা কালেক্ট করতে হয়, Curl, fetch, অন্যান্য উপায় এবং JSDom, পাপেটার দিয়ে ডাটা একসেস করা।
পাপেটার দিয়ে কিভাবে ব্রাউজার লঞ্চ করতে হয়, অন্য জায়গায় লঞ্চ করা থাকলে সেখানে কানেক্ট করা, হেডলেস ও হেডফুল মোড।
রিয়েল প্রজেক্ট করতে গিয়ে শপিফাই এবং নেক্সটজেএস দিয়ে বানানো দুইটা ওয়েবসাইট থেকে ডাটা কালেকশন, সিএসএস দিয়ে পাওয়া ডাটা আর জেসন থেকে পাওয়া ডাটার পার্থক্য, নেটওয়ার্ক রিকুয়েষ্ট, প্রজেক্টের স্ট্রাকচার ও প্লান আলোচনা করা হবে।
সিএসএস ও এক্সপাথ সিলেক্টর, এআই ব্যাবহার করে সিলেক্টর ছাড়া ডাটা কালেক্ট করার কিছু উপায়।
পাপেটারের বিভিন্ন রকম গুরুত্বপূর্ণ ও কমান্ড, click, type, exposeFunction, waitForRequest, waitForNavigation সহ অনেকগুলো মেথড।
পেইজের কোড থেকে নিয়ে করা পেজিনেশন, নেক্সট পেজিনেশন, ইনফিনিটি, লোড মোর সহ আরো অনেক রকম পেজিনেশন থাকবে।
রিকুয়েষ্ট ব্লক করা, বিভিন্ন এড ও কুকি নোটিশ ব্লক করা, ক্লিন একটি স্ক্রিনশট নিতে হয়, ও ব্যান্ডউইথ সেইভ করতে হয়।
ক্রোমে বিভিন্ন এক্সটেনশন, ক্যাপচা সলভ করার কিছু এক্সটেনশন দেখানো হবে। এক্সটেনশন সহ এবং এক্সটেনশন ছাড়া ক্যাপচা সলভ করার বিভিন্ন উপায় দেখানো হবে।
প্রক্সি ও ভিপিএন নিয়ে আলোচনা থাকবে। সেখানে proxy-chain, puppeteer-page-proxy সহ কিভাবে প্রক্সি ব্যবহার করা যায়।
ফিংগারপ্রিন্ট লাইব্রেরি, এন্টিডিটেক্ট ব্রাউজার, বিভিন্ন টানেলিং এর ব্যবহার, সহ অন্যান্য উপায়ে বট প্রটেকশন বাইপাস সম্পর্কে আলোচনা।
ক্রলিং লাইব্রেরি crawlee এবং পাপেটার ক্লাস্টার নিয়ে সংক্ষিপ্ত আলোচনা; BullMQ এবং প্রিজমার এর সাহায্যে একটি রিয়েল প্রজেক্টে কিভাবে ওয়েব অটোমেশন করা হয় তা দেখানো হবে।
ডকার এর মাধ্যমে পাপেটার প্রজেক্ট রান করা, ছোট স্ক্রিনশট কিংবা স্ক্র্যাপিং এপিয়াই বানিয়ে Fly এবং Vercel এ ডিপ্লয় করা, সেখানে পাপেটারের বিভিন্ন রকম লিমিটেশন।
রিয়েল প্রজেক্ট এ কিভাবে পুরো কোর্সের নলেজ কাজে লাগানো হয় সেগুলো আলোচনা হবে। কোর্স শেষে কি নিয়ে শেখা দরকার, এরপর কি নিয়ে এগুতে হবে না হবে সেগুলো আলোচনা হবে।
#unknown-channel
- ওয়েব অটোমেশন এর বিভিন্ন আলাদা বিষয়গুলো সম্পর্কে জানব। এবং আমাদের কোর্সের জন্য প্রয়োজনীয় নোড, ডকার ও লিনাক্সের সেটাপ করে নিব।
#unknown-channel
- ব্রাউজার ছাড়া কিভাবে ডাটা কালেক্ট করতে হয়, Curl, fetch, অন্যান্য উপায় এবং JSDom, পাপেটার দিয়ে ডাটা একসেস করা।
#unknown-channel
- পাপেটার দিয়ে কিভাবে ব্রাউজার লঞ্চ করতে হয়, অন্য জায়গায় লঞ্চ করা থাকলে সেখানে কানেক্ট করা, হেডলেস ও হেডফুল মোড।
#unknown-channel
- রিয়েল প্রজেক্ট করতে গিয়ে শপিফাই এবং নেক্সটজেএস দিয়ে বানানো দুইটা ওয়েবসাইট থেকে ডাটা কালেকশন, সিএসএস দিয়ে পাওয়া ডাটা আর জেসন থেকে পাওয়া ডাটার পার্থক্য, নেটওয়ার্ক রিকুয়েষ্ট, প্রজেক্টের স্ট্রাকচার ও প্লান আলোচনা করা হবে।
#unknown-channel
- সিএসএস ও এক্সপাথ সিলেক্টর, এআই ব্যাবহার করে সিলেক্টর ছাড়া ডাটা কালেক্ট করার কিছু উপায়।