+2 வுக்கு பிறகு! – தரவு அறிவியல் (Data Science) – இயந்திரக்கற்றல் (Machine learning)- செயற்கை நுண்ணறிவு ( Artificial Intelligence)

கொட்டிக் கிடக்கும் வேலைவாய்ப்புகள்! எட்டிப் பிடிக்க தவறாதீர் !

அனைவருக்கும் வணக்கம்! பெருந்தொற்றின் இடையே நம்மாணவர்கள்(12 ம் வகுப்பு முடித்தவர்கள்) நீந்தி அவர்தம் வாழ்வின் கல்லூரி பருவம் எனும் கரையை சேர்ந்த / சேர்க்கப்பட்டுள்ள இவ்வேளையில் – அடுத்து என்ன படிப்பது ? அதை எங்கே படிப்பது? எந்த துறையில் வேலைவாய்ப்புகள் கொட்டிக்கிடக்கின்றன ? என்ற கேள்விகள் மாணவர்களிடையேயும் அவர்தம் பெற்றோர்களிடையேயும் எழுந்த வண்ணம் உள்ளது .

அக்கேள்விகளுக்கு விடையளிக்கும் பொருட்டு , தரவறிவியல் ( Data Science ) – இயந்திரக்கற்றல் (Machine Learning )- செயற்கை நுண்ணறிவு (Artificial Intelligence ) எனும் வளர்ந்து வரும் – நம்பிக்கை நட்சத்திரமாகத் திகழும் துறையினை பற்றி காண்போம் !

ஆமாம்! அதென்ன Data science – Machine learning – Artificial Intelligence ?

கொஞ்சம் விளக்கமா – எளிமையா பார்ப்போமா ?

Data ?

Datum – தரவு என்றால் meaningful Information எனப்படும் . அதாவது ஒரு பொருளுடைய ( அர்த்தம் ) தகவல் , எடுத்துக்காட்டாக 5 என்பது வெறும் எண்ணை மட்டும் குறிக்கும் அதுவே வயது – 5 என்பது ஒரு பொருளைத் தருகிறது. இதனுடன் இன்னபிற தரவுப்புள்ளிகளினை (Datum points ) – Data – சேர்க்கும் போது அது குறிப்பிட்ட ஒரு தனிநபர் / செயல் / பொருள் etc பற்றியான புரிதலை தருகிறது

எ .கா : வெறும் 5 என்பது பொருளற்ற ஒன்று –> வயது 5 : என்பது ஓரளவு புரிதலை தருகிறது —> பெயர் : பிரபாகரன் , வயது :23 என்பது இது ஒரு மனிதனைப் பற்றியது எனவும் –> பெயர் : பிரபாகரன் , வயது : 23 , வேலை : தரவறிவியல் , பட்டம் : BE என்பது மேலும் பல பயனுள்ள தகவல்களைத் தருகிறது.

இந்த ஒரு நபர் பற்றிய தரவு பெரிய அளவிலான பலனைத் தராது , இதுவே கல்லூரியில் பயின்ற அனைவரது வேலை , அனுபவம் குறித்தான தகவல்கள் ஓரிடத்தில் கிடைக்கப்பெற்றால், அது பல புரிதலைத் தரும் . இந்த புரிதல் கல்லூரியின் வளர்ச்சிக்கு பயன்படலாம்( strategic understanding ).

இந்த எடுத்துக்காட்டை அடிப்படையாகக் கொண்டு , நீங்களே பலத் துறைகளில் கிடைக்கும் தரவுகள் , அதன் மூலம் கிபீடிக்கும் புரிதல்கள் , அந்த புரிதல்கள் மூலம் கிடைக்கும் தொழில் / துறைசார்ந்த பிரச்சனைகளுக்காக தீர்வுகள் கிடைக்கும்

ஒரு அரசின் மாதந்திர வருடாந்திர வரவு செலவு தரவினைக்கொண்டு அதன் செயல்பாடு , தேவையற்ற செலவுகள் , வருமானத்தை உயர்த்தும் செயல்முறைகள் , வளர்ச்சிக்கான தீர்வுகளைப்பெறலாம்.

ஒரு தனிநபரின் உணவு முறைகள் , உடற்பயிற்சி முறைகள் ஆகியவற்றின் தரவினைக்கொண்டு அவரது உடல்நிலை , நலன் குறித்த புரிதலைப் பெறலாம் .

இப்படியாக எதற்கு வேண்டுமாயின் தீர்வினை பெறலாம் , முடிவுகளை எடுக்கலாம் – இதனைத் தான் Data driven solutioning & decision making என்போம் .

எப்படி அந்த புரிதலையும் , தீர்வுகளையும் பெறலாம்?

இவற்றையெல்லாம் தொழில்நுட்பம்(டெக்னாலஜி) , கணிதம்(Ma ths ) , துறை(Domain Expertise) சார்ந்த அறிவைக் கொண்டு நடைமுறைப்படுத்திடும் ஒரு பரந்து விறிந்த ஒரு புலமே – DataScience – Machine learning – Artificial Intelligence.

இந்த கலைச்சொற்களைக் கண்டு கவலையுற வேண்டாம் – மூன்றுமே மிக நெருங்கியத் தொடர்பு கொண்டவை. செயல்பாடுகள் (tasks ) , திறன் ( efficiency ) , பயன்பாட்டின் அளவு ( application scale & area ) ஆகியவற்றை கொண்டு இவை வேறு படுகின்றன

விரிவாக ஒவ்வொரு பிரிவினை பற்றிக் காண , ஒரு தரவினை துணைக்கொள்வோம் – ஒரு நிறுவனத்தின் உற்பத்தி – விற்பனை ( Production & Sales Data )

  1. Data Engineering : தரவு பொறியியல் .

உற்பத்தி – விற்பனை ( Production & Sales Data ) தரவு என்பது ஒரே இடத்தில் கிடைக்க போவது அல்ல , உற்பத்தி குறித்த தரவுகள் பல்வேறு கால இடைவெளிகளில் பல இடங்களில் ( Raw material provider, Process Machines etc ) இருந்து கிடைக்கப்பெறும் , விற்பனை குறித்த தரவு மொத்த விற்பனையாளர்கள் , சில்லறை விற்பனையாளைர்கள் ,விற்பனை விலை , தள்ளுபடி என பல தகவல்கள் இருக்கும் . இவை அனைத்தும் ஒரே இடத்தில் பெறப்படுவதில்லை.

இப்படி பல இடங்களில் கிடைக்கப்பெறும் தரவுகளை , ஒரே இடத்தில் ஒரு கணினிமயப்படுத்தப் பட்ட ஸ்டோரேஜ் இல் சேமிக்க வேண்டும் – இந்த வேலைத் தான் data engineering என்போம் .

சில KB களில் இருந்து பல TB வரை தரவுகள் உருவாகும் – இவை அனைத்தையும் ஒருங்கே சேகரித்தது குறிப்பிட்ட கால இடைவெளிகளில் அவற்றை ஒரே இடத்தில் சேமித்து அதை பகுப்பாய்விற்கு தகுதியானதாய் மாற்றுவதே Data Engineering .

இந்த Data இன்ஜினியரிங் ல் , தேர்வினை சேமித்தல் ( Data Base ) , அதனை தயார்ப்படுத்துதல் ( Data Processing ) ஆகியவை முக்கிய அம்சமாகும்.

வளர்ந்து வரும் மேகத்திரள் தொழில் நுட்பம் ( cloud கம்ப்யூட்டிங் technology ) இவை அனைத்தையும் ஒரே இடத்தில் கிடைக்கச்செய்கிறது

அனைத்து பன்னாட்டு , உள்நாட்டு நிறுவனங்களிலும் Data Engineer வேலை வாய்ப்புகள் கொட்டிக்கிடக்கின்றன

  1. தரவுகளை சேமித்தல் என்பது எளிய காரியம் அல்ல , அதற்கு hardware infrastructure ( வன்பொருள் கட்டமைப்பும்) , அவற்றினை Filter , extract , aggregate செய்ய ஏதுவான மென்பொருட்கள் தேவை – உதாரணத்திற்கு SQL , No SQL போன்ற தொழில்நுட்பங்கள் இவற்றை செய்ய உதவுகின்றன

2.மிகப்பெரிய தரவுகளை மிக எளிதாக கடத்த ( transfer ) ,பகுக்க ,முறை செய்ய ( Processing ) Spark ,Hadoop போன்ற bigdata தொழில்நுட்பங்கள் உள்ளன.

இவற்றை BE – Data Science / Computer Science / IT துறைகளை எடுத்து படிப்பதன் மூலம் பல Data Engineering வாய்ப்புகளை பெறலாம்.

2.Data Analysis – Business analysis : தரவு பகுப்பாய்வு – வணிக பகுப்பாய்வு :

Data Engineering உதவிகொண்டு ஒரு சேமிப்புத்தளத்திற்கு ( SQL ) உற்பத்தி – விற்பனை தரவினை இனி பகுப்பாய்வு செய்ய வேண்டும் ,ஆமாம் ஏன் பகுப்பாய்வு செய்ய வேண்டும் ? அதில் என்ன தெரிய வரும் ?அதை எப்படி செய்ய வேண்டும் ?

உற்பத்தி – விற்பனை தரவினை கொண்டு கடந்த , நிகழ்காலத்தில் நிகழ்ந்தவற்றை அறிய முடியும் . உதாரணமாக லாபம் எவ்வளவு? விற்பனையில் தள்ளுபடியில் தாக்கம் என்ன ? உற்பத்தி யில் நிலவும் கால இடைவெளி என்ன ? அந்த கால இடைவெளி அதிகரிப்பதர்கான காரணம் என்ன ? என பல வணிக ரீதியிலான கேள்விகளுக்கான பதில்களை கணினி மூலமான பகுப்பாய்வின் வழியாக பெறுதலும் , அதன் மூலம் சில முடிவுகளை எடுப்பதே Data Analysis – Business Analysis எனும் பிரிவாகும் .

ஒரு நோயாளி / தனி நபரின் உடல் நிலையை நாம் எப்படி தெரிந்துகொண்டு அதற்கேற்றபடி உணவு முறைகளை , வாழ்வியல் முறையை மாற்றிக் கொள்கிறோமோ! அதைப்போலவே ஒரு பொருள்/இடம்/நபர்/நிறுவனம் பற்றி அவற்றின் தரவிலிருந்து புரிந்து கொள்வதும் , தீர்வு காண்பதும் Data Analysis / Business Analysis

சில்லறை வியாபார நிறுவனங்கள் -retail / உற்பத்தி சாலைகள் – Production & Manufacturing /மருந்து – மக்கள் நல்வாழ்வு நிறுவனங்கள் – Pharma & Healthcare என அணைத்து digitalized நிறுவனங்களிலும் Data analysis தேவைப்படுகிறது . அந்த தேவையை தாங்களாகவோ அல்லது பிற Data Analytics நிறுவனங்கள் மூலமாக outsourcing செய்து கொள்கின்றன.

Python ,SQL , Powerbi , Tableau போன்ற தொழில்நுட்பங்கள் பெருமளவில் Data analyst களால் பயன்படுத்த படுகின்றன

BSc – கணிதம் ,புள்ளியியல்( statistics ) , கணினி அறிவியல் , BCA – Computer applications , BE – CS , Data science போன்ற படிப்புகளை தெரிந்தெடுத்து முதல் பருவத்தில் இருந்தே ஆர்வமுடன் சில சில Projects செய்வதன் மூலம் எளிதில் நல்ல வேலை வாய்ப்புகளை பெறமுடியும் .

கணிதம் , புள்ளியியல் படித்தவர்கள் பயன்பாடு ரீதியிலான ஆய்வுகள் செய்ய , மேற்படிப்பினை மேற்கொள்ள வாய்ப்புகள் கொட்டி கிடக்கின்றன .

3.Data Science : தரவு அறிவியல் :

மேலே சொன்ன , தரவு பகுப்பாய்வில் , நாம் சில எளிய கணித/புள்ளியியல் முறைகளைக்கொண்டு கடந்த கால , நிகழ் கால தரவுகளை ஆராயவும் , புரிந்து கொள்ளவும் மட்டுமே முடியும். எதிர்காலம் குறித்த கணிப்புகளை செய்ய கணித / புள்ளியியல் வழிமுறைகள் ( algorithms ) தேவை . அவற்றை கொண்டு வேறுபட்ட காரணிகளின் தாக்க மதிப்பீடு ( Impact of Factors on sales , any variables ) குறித்து ஆராயவும் , எதிர்காலத்தை கணிக்கவும் முடியும். மேலும் Data Science தொழில்நுட்பத்தில் machine learning – இயந்திரக்கற்றல் பெரும் பங்கு வகிக்கிறது.

இதன் மூலம் ஒரு நிறுவனத்தின் எதிர்கால வருமானம் , விற்பனை , விற்பனையில மற்றவற்றின் தாக்கம் குறித்து அரிட்ந்து கொள்ள முடியும் . இத்தகைய algorithm களை மென்பொருளாக ( software – applications )மாற்றுவதன் மூலம் நீண்ட காலத்திற்கு நிறுவனங்களால் பயன்படுத்த முடியும்

மேற்கண்ட Data Engineer , Data Analyst களை விட Data Scientist களுக்கு அதிக ஊதியமும் , ஆராய்ச்சி வாய்ப்புகளும் உள்ளன

BE – கம்ப்யூட்டர் சயின்ஸ் , Data Science , IT படிப்பதன் மூலமும் Data Science algorithm களை பயிற்சி செய்வதன் மூலமும் எளிதில் வேலை வாய்ப்புகளை எட்டி பிடிக்கலாம் .

இதில் குறிப்பிடத்தக்கவாறு, இந்த ஆண்டு 2021 ல் பல கல்லூரிகளில் BE – Datascience பாடப்பிரிவு அறிமுகப்படுத்தபட்டுள்ளது. மேலும் இந்த பாடப்பிரிவு BE படிக்கும் போதே ஆராய்ச்சி வாய்ப்புகளை கூர்நோக்குடன் ஏற்படுத்தும்

சரி.? மேலே சொன்ன இயந்திரக்கற்றல் என்றால் என்ன? அது எப்படி Data Science ல் எப்படி முக்கியத்துவம் பெருகிறது ? கீழே விரிவாக காண்போம்.

நீங்கள் மேலும் தெரிந்து கொள்ள https://prabakaranchandran.com/2021/04/22/an-ultimate-data-science-starter-kit-for-beginners/

  1. Machine learning : இயந்திரக் கற்றல்

சாதாரண Data Sciene முறைகளில் பயன்படுத்தப்படும் algorithms சில கணித சமன்பாடுகளால் அமையப்பெற்றவை . அவற்றால் சில கடினமான தரவுகளை புரிந்து கொள்வதில் பின்தங்குகின்றன , அதனால் கணிப்புகள் தவறாகிப்போகின்றன. அவற்றின் மிகப்பெரிய குறைபாடே அவை தவறிலிருந்து எந்த பாடமும் தொடர்ந்து படிப்பதில்லை . சில சமயம் அவை ஒருதலைப்பட்சமான (Biased output ) முடிவுகளை தரக்கூடும்,

அவற்றில் இருந்து மீள , இயந்திரக்கற்றல் ( Machine learning ) , அதன் மேம்படுத்தப்பட்ட ஒன்றான ஆழ் கற்றல் ( Deep learning ) ஆகியவை உதவுகின்றன .

இயந்திர கற்றல் என்பது , நாம் எப்படி ஒரு பாடத்தை படிக்கிறோமோ , பின்பு தவறுகளில் இருந்து நாம் படிக்கும் முறையை , மாற்றி கொள்கிறோமோ அதைப் போலவே, கணினியும் தரவுகளில் மறைந்து உள்ள
நுணுக்கங்களை கற்று கொல்வதாம் அதன் மூலம் கணிப்புகளை செய்வதும் , கணிப்புகளின் தவறுகளில் ( error ) இருந்து மீண்டும் சரியாக கற்றுக்கொள்வதே இயந்திர கற்றல் ஆகும். இதற்க்கு உதவிடும் கற்றல் வழிமுறைகள் ( algorithms ) ஏ machine learning algorithms ஆகும் .

இது வெறும் விற்பனை , வருமானம் போன்ற அட்டவணை தரவுகளில் மட்டும் பயன்படப்போவதில்லை. அதையும் தாண்டி ஒரு புகைப்படம் நாயா ,பூனையா? என்றும் வகைப்படுத்த ,ஒரு youtube கமெண்ட் ஒழுங்கீனமானதா இல்லையா என வகைப்படுத்த , பங்குச்சந்தை நிலவரங்களை கணிக்க , புற்றுநோய் செல்களை கண்டறிய , தானாகவே கணினியை பாடல் எழுத்த செய்ய , நம்முடன் பேச செய்ய (chatbots , voice assitants ) என பலவற்றில் Machine learning algorithms ஏ மூலாதாரம். இந்த algorithms களில் ஹீரோவாக திகழ்வது மனித மூளையின்-நரம்புமண்டலத்தை அடிப்படையாக கொண்ட ( Inspired from Biological Neurons ) alogorithms ஏ செயற்கை நரம்புமண்டலத்தை கொண்ட ஆழக்கற்றல் (deep learning )முறையாகும் .

இவற்றின் கற்றல் முறை , தவறுகளில் இருந்து மீள்கற்றல் வழிமுறை இந்த அல்கோரிதம்களை திறன் வாய்ந்ததாக எத்தகைய தரவுகளையும் கையாளத்தக்கதாக மாற்றுகிறது.

Deep learning ஏ நாம் பயன்படுத்தும் siri , alexa , google lens , amazon ,இன்னும் பலவற்றின் அடிப்படை ஆகும் .

Deep learing , Machine learning – அல்கோரிதம்ஸ் அவற்றை கணினிமயமாக்கல் , அவற்றின் மூலம் மென்பொருட்களை உருவாக்குதல் இவற்றை கற்று தேர்வதன் மூலம் உயர்தொழில்நுட்ப நிறுவனங்களில் வேலைவாய்ப்புகள் , ஆராய்ச்சி வாய்ப்புகள் இருக்கின்றன . வாய்ப்பிருப்போர் அயல் நாடுகளில் மேற்படிப்பு மேற்கொள்வதன் மூலம் அவை இன்னும் எளிதாகின்றன – வளர்ச்சிக்கும் வித்திடும்

BE : computer science , Mechatronics , DataScience & ML , AI &DataScience படிப்புகளை தெரிவு செய்வதன் மூலம் நீங்கள் வளர்ச்சிக்கும் அடித்தளமிடுவீர்கள்

Bsc , BCA , BE ன் மற்ற பாடப்பிரிவுகள் எடுத்து படித்தவர்கள் சில செர்டிபிகேஷன் courses படிப்பதன் மூலமும் , பயிற்சிகள் , projects செய்வதன் மூலமும் பிறரும் வாய்ப்புகளை வசமாக்கி கொள்ள முடியும்

  1. Artificial Intelligence : செயற்கை நுண்ணறிவு

முதலில் நுண்ணறிவு என்பது என்ன , மனிதனால் பார்க்க , கேட்க , படிக்க , பாட ,மொழியை உணர ,புரிந்து கொள்ள , கண்டதை உணர – புரிந்து கொள்ள , கேட்டதை புரிந்து கொள்ள அறிவு சார் முடிவுகளை எடுக்க முடிகிறதே அதுவே நுண்ணறிவு . இவற்றையெல்லாம் செயற்கையாக ஒரு கணினியை செய்ய வைப்பதே செயற்கை நுண்ணறிவு ஆகும்

இவற்றியெல்லாம் மேலே சொன்ன Deep learning மூலமும் , அதி நவீன கணித்துவம் ( computation ) மூலமும் மிகப்பெரிய அளவிலானா ( Bigdata ) தரவுகளை கற்று தேர்வதன் வழியாக நிகழ்த்தமுடியும் .

இவற்றை வெறும் அல்கோரித்தத்தோடு மட்டும் விட்டுவிடாமல் , அதிவேக தரவுகளை கையாளுதல் , நவீன மென்பொருள் கட்டமைப்பை நிறுவுதல் , பயனர்களுக்கு தங்குதடையினின்றி கிடைக்க செய்தல் என எல்லாமும் செய்ய வேண்டியுள்ளது .

இதன் மூலம் நிறுவனங்களுக்கு மட்டும் அல்லாமல் , சமுதாயத்திற்கும் பயன்படக்கூடிய மென்பொருட்களை உருவாக்க முடியும் . செயற்கை நுண்ணறிவு சார்ந்த வேலைவாய்ப்புகள் அனைத்துமே ஆராய்ச்சி யுடன் தொடர்பு கொண்டவை. ஏனெனலில் இவற்றில் புதிய தொழில்நுட்பங்கள் தினசரி வந்த வண்ணம் உள்ளன

BE : computer science , Mechatronics , DataScience & ML , AI &DataScience – செயற்கை நுண்ணறிவு துறைக்குள் எளிதில் நுழைய இயலும்.

Bsc , BCA , BE ன் மற்ற பாடப்பிரிவுகள் எடுத்து படித்தவர்கள் சில செர்டிபிகேஷன் courses படிப்பதன் மூலமும் , பயிற்சிகள் , projects செய்வதன் மூலமும் பிறரும் வாய்ப்புகளை வசமாக்கி கொள்ள முடியும்.

சரி எங்கே படிக்கலாம் ?

BSc , BCA – Madras Christian college , St.Josephs college , Loyola college , SRM , VIT , Bishops herber , MOP Vaishnava , Guru nanak போன்ற கல்லூரிகளிலும்

BE Computer science , IT – Anna University , PSG , KCT,CIT, Amrita , SASTRA , VIT , SRM , SSN , St.Josephs ,Panimalar , Bannari amman , Sri Krishna , போன்ற கல்லூரிகளிலும்

BE – Data Science , AI , ML – VIT , KCT, St.Josephs போன்ற கல்லூரிகளிலும் ,

MSc – Integrated course in Data Science – PSG, CIT

போன்ற கல்லூரிகளில் சிறந்தமுறையில் பயிற்றுவிக்கப்படுகிறது

வேலை வாய்ப்புகள் அதிகம் ! கற்றல் கற்பித்தல் முறையும் மிக நன்று !

இந்த கட்டுரை உங்களுக்கு பயன்பட்டிருக்கும் என்று நம்புகிறேன் !
இப்படிக்கு பிரபாகரன் சந்திரன்

Advertisement

An Ultimate Road map to Computer Vision 2021 – Image Classification

Hello Everyone! Welcome to my blog. In previous two blog I have listed down the resources and road map to Data Science and Deep learning .

In this blog , I am going to discuss the road map to Computer vision 2021 – Image Classification which includes basic to advanced algorithms used in Image Classification tasks , Model development life cycle ( Training , testing , deployment) and few other tools , frameworks

I have written this blog beginner friendly with enough illustrated resources and mathematics resources for algorithms with hands on tutorials. Feel Free to Post your comments and Queries,

What is Computer Vision?

It is a Field of Machine learning , that focuses on enabling the machines to replicate the human eyes’ functionality. Computer vision involves in applications like Image classification , localisation , segmentation and generation. This can be achieved by Neural network algorithms which have unique architectures to understand the features and patterns of the images.

Let’s discuss the road-map in 4 different parts.

  1. Non Neural-net – Machine learning based Computer vision tasks
  2. Deep learning based Computer vision -Evolution of Convolutional neural networks (CNN)
  3.  Image-net Large Scale Visual Recognition Challenge (ILSVRC) Architectures.
  4. Tools and Frameworks
Image Classification using Non Neural Network – Machine learning algorithms :

Everyone used to start learning computer vision straight away from Deep learning , even with out introduction to Multi layer perceptron. But I would suggest to start practicing from basic machine learning algorithms like K-Nearest Neighbor , Support vector Machine , Random Forest , XgBoost ,etc..

By doing in this way , it would be a revision session where you can relearn the basic machine learning algorithms again and apply them on image classification task.

  1. K Nearest Neighbor :
    1. https://towardsdatascience.com/machine-learning-basics-with-the-k-nearest-neighbors-algorithm-6a6e71d01761
    2. https://www.javatpoint.com/k-nearest-neighbor-algorithm-for-machine-learning
    3. https://www.pyimagesearch.com/2016/08/08/k-nn-classifier-for-image-classification/
    4. https://yearsofnolight.medium.com/intro-to-image-classification-with-knn-987bc112f0c2
    5. https://medium.com/swlh/image-classification-with-k-nearest-neighbours-51b3a289280
  2. Support Vector Machine – SVM was the most used ML algorithm for Image classification task before CNN
    1. https://www.analyticsvidhya.com/blog/2017/09/understaing-support-vector-machine-example-code/
    2. https://www.kdnuggets.com/2018/12/solve-image-classification-problem-quickly-easily.html/2
    3. https://towardsdatascience.com/svm-support-vector-machine-for-classification-710a009f6873
    4. https://www.kaggle.com/halien/simple-image-classifer-with-svm
    5. https://www.kaggle.com/ashutoshvarma/image-classification-using-svm-92-accuracy
  3. Random forest and Decision Tree
    1. https://www.robots.ox.ac.uk/~vgg/publications/papers/bosch07a.pdf
    2. https://towardsdatascience.com/understanding-random-forest-58381e0602d2
    3. https://towardsdatascience.com/a-beginners-guide-to-decision-tree-classification-6d3209353ea
    4. https://www.linkedin.com/pulse/decision-tree-satellite-image-classification-jo%C3%A3o-otavio/
    5. https://github.com/87surendra/Random-Forest-Image-Classification-using-Python
    6. https://github.com/PraveenDubba/Image-Classification-using-Random-Forest/blob/master/Random_Forest_latest.py
  4. XGboost :
    1. https://towardsdatascience.com/https-medium-com-vishalmorde-xgboost-algorithm-long-she-may-rein-edd9f99be63d
    2. https://machinelearningmastery.com/gentle-introduction-xgboost-applied-machine-learning/
    3. https://setscholars.net/how-to-do-fashion-mnist-image-classification-using-xgboost-in-python/
Computer vision using Deep learning Evolution of Convolutional Neural Networks.

Brief History:

Check the previous blog : https://prabakaranchandran.com/2021/04/26/a-complete-road-map-to-deep-learning-2021-part-1/

1980 – The first “convolutional network” was the Neocognitron , by Japanese scientist Fukushima (1980) is used to hand-written character recognition.The neocognitron was inspired by the works of Hubel and Wiesel about the visual cortex of animals. At that time, the back-propagation algorithm was still not used to train neural networks. The neocognitron has given all fundamental ideas behind convNets.

1998 – Modern Convolution Networks with Gradient back propagation learning ,inspired by the neocognitron( by fukushima). Yann LeCun et al., in their paper “Gradient-Based Learning Applied to Document Recognition” (cited 17,588 times) demonstrated that a CNN model used for handwritten character recognition.

Major Parts of Convolution Neural Network ( LeCun’s Base Architecture) working principle and terminologies

  1. Convolutional Layers :
    1. https://towardsdatascience.com/gentle-dive-into-math-behind-convolutional-neural-networks-79a07dd44cf9
    2. https://www.analyticsvidhya.com/blog/2020/02/mathematics-behind-convolutional-neural-network/
    3. https://hackernoon.com/the-full-story-behind-convolutional-neural-networks-and-the-math-behind-it-2j4fk3zu2
    4. https://www.programmersought.com/article/87541005859/
    5. https://poloclub.github.io/cnn-explainer/
  2. Pooling Layers :
    1. https://dev.to/sandeepbalachandran/machine-learning-max-average-pooling-1366
    2. https://medium.com/@bdhuma/which-pooling-method-is-better-maxpooling-vs-minpooling-vs-average-pooling-95fb03f45a9
    3. https://www.machinecurve.com/index.php/2020/01/30/what-are-max-pooling-average-pooling-global-max-pooling-and-global-average-pooling/
  3. Activation functions :
    1. https://machinelearningmastery.com/choose-an-activation-function-for-deep-learning/
    2. https://www.analyticsvidhya.com/blog/2020/01/fundamentals-deep-learning-activation-functions-when-to-use-them/
    3. https://conferences.computer.org/ictapub/pdfs/ITCA2020-6EIiKprXTS23UiQ2usLpR0/114100a429/114100a429.pdf
    4. https://towardsdatascience.com/comparison-of-activation-functions-for-deep-neural-networks-706ac4284c8a
  4. Fully connected layer :
    1. https://cs231n.github.io/convolutional-networks/#fc
    2. https://www.superdatascience.com/blogs/convolutional-neural-networks-cnn-step-4-full-connection
  5. Normalization Layer :
    1. https://cs231n.github.io/convolutional-networks/#norm
    2. https://analyticsindiamag.com/everything-you-should-know-about-dropouts-and-batchnormalization-in-cnn/
    3. https://www.baeldung.com/cs/batch-normalization-cnn
    4. https://machinelearningmastery.com/batch-normalization-for-training-of-deep-neural-networks/
    5. https://medium.com/techspace-usict/normalization-techniques-in-deep-neural-networks-9121bf100d8
  6. Dropout :
    1. https://towardsdatascience.com/dropout-on-convolutional-layers-is-weird-5c6ab14f19b2
    2. https://towardsdatascience.com/dropout-on-convolutional-layers-is-weird-5c6ab14f19b2
  7. Multi class and Multi label classification:
    1. https://towardsdatascience.com/journey-to-the-center-of-multi-label-classification-384c40229bff
    2. https://cmci.colorado.edu/classes/INFO-4604/files/slides-7_multi.pdf
  8. Sigmoid and Softmax output layers:
    1. https://towardsdatascience.com/multi-layer-neural-networks-with-sigmoid-function-deep-learning-for-rookies-2-bf464f09eb7f
    2. https://glassboxmedicine.com/2019/05/26/classification-sigmoid-vs-softmax/
    3. https://medium.com/arteos-ai/the-differences-between-sigmoid-and-softmax-activation-function-12adee8cf322
  9. Weight Initialization in CNN :
    1. https://machinelearningmastery.com/weight-initialization-for-deep-learning-neural-networks/
    2. https://medium.com/@tylernisonoff/weight-initialization-for-cnns-a-deep-dive-into-he-initialization-50b03f37f53d
    3. https://towardsdatascience.com/weight-initialization-in-neural-networks-a-journey-from-the-basics-to-kaiming-954fb9b47c79
  10. Loss functions for Image classification:
    1. https://machinelearningmastery.com/how-to-choose-loss-functions-when-training-deep-learning-neural-networks/
    2. https://towardsdatascience.com/choosing-and-customizing-loss-functions-for-image-processing-a0e4bf665b0a
    3. https://towardsdatascience.com/understanding-different-loss-functions-for-neural-networks-dd1ed0274718
    4. https://medium.com/@zeeshanmulla/cost-activation-loss-function-neural-network-deep-learning-what-are-these-91167825a4de
    5. https://algorithmia.com/blog/introduction-to-loss-functions
  11. Back Propagation in CNN :
    1. https://towardsdatascience.com/backpropagation-in-a-convolutional-layer-24c8d64d8509?gi=35b754b311dd
    2. https://towardsdatascience.com/backpropagation-in-a-convolutional-layer-24c8d64d8509
    3. https://medium.com/@2017csm1006/forward-and-backpropagation-in-convolutional-neural-network-4dfa96d7b37e
    4. https://becominghuman.ai/back-propagation-in-convolutional-neural-networks-intuition-and-code-714ef1c38199
    5. https://www.jefkine.com/general/2016/09/05/backpropagation-in-convolutional-neural-networks/
  12. Optimizers
    1. https://www.upgrad.com/blog/types-of-optimizers-in-deep-learning/
    2. https://towardsdatascience.com/optimizers-for-training-neural-network-59450d71caf6
    3. https://heartbeat.fritz.ai/exploring-optimizers-in-machine-learning-7f18d94cd65b
    4. https://medium.datadriveninvestor.com/overview-of-different-optimizers-for-neural-networks-e0ed119440c3

At this stage , you will be able to understand all the concepts around CNN , Let’s move on to different architectures based on ILSVRC competition.

Image-net  Large Scale Visual Recognition Challenge (ILSVRC) Architectures.
Image Net Dataset and ISLVRC competion :

ImageNet is an image database organized according to the WordNet hierarchy (currently only the nouns), in which each node of the hierarchy is depicted by hundreds and thousands of images. The project has been instrumental in advancing computer vision and deep learning research. The data is available for free to researchers for non-commercial use. https://paperswithcode.com/sota/image-classification-on-imagenet

Competition

The ImageNet Large Scale Visual Recognition Challenge (ILSVRC) evaluates algorithms for object detection and image classification at large scale. One high level motivation is to allow researchers to compare progress in detection across a wider variety of objects — taking advantage of the quite expensive labeling effort. Another motivation is to measure the progress of computer vision for large scale image indexing for retrieval and annotation.https://paperswithcode.com/sota/image-classification-on-imagenet

Famous Benchmark Architectures:

After LeCun ‘s Modern CNN paper , it took several years to publish a SOTA CNN paper. Alex net was the first big mile stone in image recognition challenge in 2013. Check the Resource below , where I have attached Model architecture , theory , implementation

  1. AlexNet – 2013 :
    1. Paper : https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf
    2. Explanation : https://d2l.ai/chapter_convolutional-modern/alexnet.html , https://d2l.ai/chapter_convolutional-modern/alexnet.html
    3. Code implementation : https://pytorch.org/hub/pytorch_vision_alexnet/ https://towardsdatascience.com/implementing-alexnet-cnn-architecture-using-tensorflow-2-0-and-keras-2113e090ad98?gi=c45baf963fbc
013 B CNN AlexNet | Master Data Science
Schematic diagram of (a) VGG16 and (b) VGG19 models. | Download Scientific  Diagram
Vgg16 and vgg19
Residual block (top left), bottleneck layer (bottom left), and ResNet... |  Download Scientific Diagram
ResNet Arch
An Intuitive Guide to Deep Network Architectures | by Joyce Xu | Towards  Data Science
Inception v3
The architecture of the MobileNetv2 network. | Download Scientific Diagram
MobileNet
Google AI Blog: EfficientNet: Improving Accuracy and Efficiency through  AutoML and Model Scaling
Different model scaling @ Efficient Net.

Even We have 100s of models in place , I just wanted to list down few of them which are fundamental and important to other models. I did not list the models like ViT , MLP mixer , since the knowledge of Attention and Transformers is required ( I ll give a road map to transformer architecture soon )

Tools , Frameworks and other Resources – Image classification :

Transfer Learning : https://machinelearningmastery.com/how-to-use-transfer-learning-when-developing-convolutional-neural-network-models/

Is Transfer Learning the final step for enabling AI in Aviation? -  Datascience.aero
Transfer learning #c2c

Pytorch – Torch vision models : https://pytorch.org/vision/stable/models.html https://pytorch.org/tutorials/beginner/finetuning_torchvision_models_tutorial.html

Pytorch image models by rwightman (timm) : https://paperswithcode.com/lib/timm https://rwightman.github.io/pytorch-image-models/

PyTorch Image Models (TIMM) is a library for state-of-the-art image classification. With this library you can:

  • Choose from 300+ pre-trained state-of-the-art image classification models.
  • Train models afresh on research datasets such as ImageNet using provided scripts.
  • Finetune pre-trained models on your own datasets, including the latest cutting edge models.

Keras and TensorFlow V2.x

  1. https://keras.io/examples/vision/
  2. https://developers.google.com/codelabs/tensorflow-2-computervision#0
  3. https://medium.com/@rishit.dagli/computer-vision-with-tensorflow-part-2-57e95cd0551
  4. https://www.tensorflow.org/tutorials/images/transfer_learning_with_hub

PyTorch Lighting :

  1. https://wandb.ai/wandb/wandb-lightning/reports/Image-Classification-using-PyTorch-Lightning–VmlldzoyODk1NzY
  2. https://www.kaggle.com/xooca1/image-classification-pytorch-lightning
  3. https://medium.com/pytorch/introducing-lightning-flash-the-fastest-way-to-get-started-with-deep-learning-202f196b3b98

Another important resource : joshstarmer’s StatQuest Youtube Channel. — Easier and illustrative explanations.

https://www.youtube.com/watch?v=HGwBXDKFk9I

So far , we have covered Image classification in Computer vision , In the upcoming blogs , we can learn object detection , segmentation , generation and other domains

Take your time , Don’t rush , Learn – Practice – Repeat!

Let me know if you have any queries or comments!

Thanks for reading and supporting I hope this blog helps you!

Happy learning!

By

Prabakaran chandran – May 14 0 4.10 am

A Complete Road map to Deep learning 2021 – Part 1

    Welcome ! Thanks for visiting my blog site. In my previous article I have listed down the way to kick start the Data Science career Journey

    In this article I am going to list down the concepts to learn to carry forward your career toward Artificial Intelligence

    This Article Contains 5 parts in which we you have to concentrate your learning process

    Don’t be hurry ! Take your Sweet time! Lay the strong foundation at your self pace of time!

    • 1. Prerequisites – Mathematics and Programming
    • 2. History of Artificial Neural Networks
    • 3. Important Architectures to be learnt and Back propagation and Optimization
    • 4. Deep learning Development lifecycle
    • 5. Libraries and Frameworks

    Prerequisites – Mathematics and Programming

    I have been working on neural networks from my 7th semester 2018.I had a subject called “Soft computing ” in which I started learning about neural networks and other soft computing algorithms like Fuzzy logics Evolutionary algorithms

    My interest towards soft computing has brought me to this Artificial intelligent domain

    Lets start with Mathematics and programming required for deep learning

    Mathematics for Deep learning :

    Three Major mathematics topics , we need to learn ( we might have learnt them already in our college curriculam)

    You may have a question, Do We need Mathematics for Deep learning ? Yes we do need , If you want to build your own models and diagnose what happened in the pipeline ? .If you want to improve the model performance , under the hood math is important.

    1. Linear algebra
    2. Multivariate Calculi
    3. Probability and statistics

    Linear Algebra:

    Linear algebra is a basic to many of the machine learning algorithms. It speed up the normal calculations by using vectorization method . Important concepts to learn in Linear algebra

    Topic list

    1. Scalers , Vectors , Matrix , Tensors — These are the basic entities of linear algebra ,variables can be either of the format. Machine learning / deep learning functions will be represented using function with above variables
    2. Matrix arithmetic operations — Multiplication , Addition , Subtraction , Division , Transpose , Inverse , Norms
    3. Different types of Matrices and tensors ( a multidimensional vector is a Tensor)
    4. Eigen Decomposition – Concept of Eigen vectors , Eigen values are useful in Dimensionality reduction methodologies
    5. singular value Decomposition
    6. Determinant , Rank operations

    Follow this Resource link to learn basics of linear algebra along with python (numpy)

    1. https://d2l.ai/chapter_preliminaries/linear-algebra.html
    2. https://jonathan-hui.medium.com/machine-learning-linear-algebra-a5b1658f0151
    3. https://builtin.com/data-science/basic-linear-algebra-deep-learning
    4. https://www.deeplearningbook.org/contents/linear_algebra.html
    5. https://mml-book.github.io/
    6. https://www.math.ubc.ca/~pwalls/math-python/linear-algebra/linear-algebra-scipy/

    Multivariate Calculus :

    When it comes to algorithms , Role of Calculus is inevitable. Tasks like Gradients Descent ,Numerical Optimization , Back propagation , Mathematical Simulations need Calculus as their back bone to computation

    Following Concepts are required in Deep learning

    1. Differential Calculus – Helps in Back propagation , Numerical Optimization , Solution to equations
    2. Integral Calculus – Helps in Area calculation , Monte-carlo simulation,etc
    3. Partial Differentiation — Multi variate equations – solving and optimization
    4. Automatic Differentiation – – Simplify the Differential computation – all the Deep learning frameworks use auto grad function ( automatic differentiation)
    5. Gradients – Hessian , Jababian ,Jacobian – Helps in Gradient based optimization
    6. Back propagation and chain rule – BP is the actual learning process of Deep learning

    List of resources to learn Calculus along with Programming them in python

    1. https://mml-book.github.io/book/mml-book.pdf
    2. https://d2l.ai/chapter_appendix-mathematics-for-deep-learning/multivariable-calculus.html
    3. https://www.sas.upenn.edu/~jesusfv/Lecture_NM_1_Numerical_Differentiation_Integration.pdf
    4. https://ocw.mit.edu/courses/mathematics/18-01sc-single-variable-calculus-fall-2010/download-course-materials/
    5. https://towardsdatascience.com/automatic-differentiation-explained-b4ba8e60c2ad
    6. https://towardsdatascience.com/automatic-differentiation-15min-video-tutorial-with-application-in-machine-learning-and-finance-333e18c0ecbb
    7. https://medium.com/swlh/gradient-based-optimizations-jacobians-jababians-hessians-b7cbe62d662d

    Probability and Statistics

    Probability and Statistics is needed for all the tasks in deep learning and machine learning

    1. To define the type of error to be considered ,
    2. Classification models involves Probability distribution at the end
    3. To measure the performance metrics of the models ,
    4. To define the noise distribution in generative models ,
    5. Deep Belief networks are based on Probability distributions

    I have included extensive list of topics to be learnt in Probability and statistics in my previous blog — https://prabakaranchandran.com/2021/04/22/an-ultimate-data-science-starter-kit-for-beginners/

    Few more :

    1. https://towardsdatascience.com/probability-and-statistics-explained-in-the-context-of-deep-learning-ed1509b2eb3f
    2. https://d2l.ai/chapter_preliminaries/probability.html
    3. https://towardsdatascience.com/machine-learning-probability-statistics-f830f8c09326?gi=9dc0045dff84
    4. https://towardsdatascience.com/probability-theory-for-deep-learning-9551b9255cf0?gi=c0663ceac3ad
    Programming for Deep learning : – Prerequisites
    1. Python is a major programming language which is widely used across different applications
    2. If you are new to python , check out my previous blog . I have listed out resources and topics to be learnt
    3. Learning pacakages like numpy , scipy , statsmodels , pandas , matplotlib is required for initial learning stage of deep learning
    4. Practice the Above listed mathematical topics using the python and its frameworks
    5. If you are coming from Computer science background , you can consider c++ for deep learning ( C++ is faster than Python in computation)

    Check these resources to learn python and its frameworks in terms of deep learning

    1. https://towardsdatascience.com/all-the-numpy-you-need-to-supercharge-your-deep-learning-code-e7a22fe4ede2
    2. https://scipy-lectures.org/packages/sympy.html
    3. https://docs.scipy.org/doc/scipy/reference/tutorial/integrate.html
    4. https://towardsdatascience.com/a-simple-method-for-numerical-integration-in-python-7906c1703af8
    5. https://www.kaggle.com/borisettinger/gentle-introduction-to-automatic-differentiation

    History of Artificial Neural Networks – 1940 – 2000 – Important Architectures

    “Deep Learning waves have lapped at the shores of computational linguistics for several years now, but 2015 seems like the year when the full force of the tsunami hit the major Natural Language Processing (NLP) conferences.” -Dr. Christopher D. Manning, Dec 2015
    
    I have listed down the important historical events happened in the AI domain

    In the above Time line , I have given Resource links to important concepts. We will learn about modern deep learning architectures which are popular in Computer vision , Natural language processing and Reinforcement learning separately in the upcoming blogs

    Since this is a introductory blog on deep learning , I don’t want to put all the complex architecture in one place.

    Optimization in Deep learning

    Optimizer is the function or method to change the weights and biases in order to make the model to converge much faster . Optimizers are the important building block of back propagation. Without optimizer , Back propagation is just gonna be a error and trail method. Optimizers pave the correct path to convergence. The very basic optimizer is Gradient descent which is based on very simple slope calculation along with learning rate.

    List of available optimizers for neural networks . Note : they are not for hyper parameter tuning , optimizers are predominantly used in model training ( at every back ward passes)

    1. Gradient Descent (GD)
    2. Stochastic Gradient Descent
    3. Mini-Batch Gradient Descent
    4. Momentum Based Gradient Descent
    5. Nesterov Accelerated Gradient (NAG)
    6. Adagrad
    7. RMSProp
    8. Adam
    9. AdaDelta

    Resources list :

    1. https://towardsdatascience.com/optimizers-for-training-neural-network-59450d71caf6
    2. https://www.kdnuggets.com/2020/12/optimization-algorithms-neural-networks.html
    3. https://medium.datadriveninvestor.com/overview-of-different-optimizers-for-neural-networks-e0ed119440c3
    4. https://www.upgrad.com/blog/types-of-optimizers-in-deep-learning/
    5. https://keras.io/api/optimizers/
    6. https://www.kaggle.com/getting-started/164479
    7. https://ruder.io/optimizing-gradient-descent/

    Deep learning Development life cycle

    So Far ,we have learnt all the necessary concepts in neural networks , architectures and allied mathematics

    If we need to build a neural network model for a simple regression work , we should maintain several steps to achieve that. The final model has to be available to the end user , it should not sleep in our development environment. That is called as Deep learning development life cycle

    1. Data collection and Data preparation
    2. Deep learning Model development
    3. Training and validation of Deep learning model – Transfer learning if opted
    4. Testing of Deep learning model
    5. Compare performance metrics of multiple model
    6. Deployment of model
    7. Model monitoring

    Read more about MLDC/DLDC

    1. https://www.educba.com/machine-learning-life-cycle/
    2. https://www.datarobot.com/wiki/machine-learning-life-cycle/
    3. https://towardsdatascience.com/transfer-learning-with-convolutional-neural-networks-in-pytorch-dd09190245ce?gi=ede0164dc869
    4. https://subscription.packtpub.com/book/big_data_and_business_intelligence/9781838550356/1/ch01lvl1sec13/ml-development-life-cycle
    5. https://towardsdatascience.com/rethinking-ai-machine-learning-model-management-8afeaa31d8f8
    6. https://towardsdatascience.com/the-machine-learning-lifecycle-in-2021-473717c633bc

    Deep learning Frameworks

    There are several frameworks available for Deep learning tasks , List of popular DL frameworks which are available in python

    1. Tensorflow
    2. PyTorch
    3. Keras
    4. Pytorch Lightning
    5. MxNet
    6. Theano
    7. Chainer
    8. Caffe2
    9. Microsoft CNTK

    Among them Tensorflow and Pytorch are used by most of the deep learning engineer. I don’t want to put a comparison between Tensorflow and pytorch ( that might offend one of them 🙂 )

    Keras is the high level api for tensorflow , Pytorch Ligtning is the high level api wrapper for pytorch.

    Keras and Lightnings are very easy to learn, so beginners / non cs grads can easily learn them and move forward.

    Books and YouTube channels to follow

    1. Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems
    2. Deep Learning Yoshua Bengio
    3. Pattern Recognition and Machine Learning
    4. Grokking Deep Learning
    5. Deep Learning Illustrated: A Visual, Interactive Guide to Artificial Intelligence
    6. https://www.youtube.com/watch?v=6M5VXKLf4D4
    7. https://www.youtube.com/watch?v=9jA0KjS7V_c&list=PLZoTAELRMXVPGU70ZGsckrMdr0FteeRUi
    8. https://www.youtube.com/watch?v=aircAruvnKk
    9. https://www.youtube.com/watch?v=5tvmMX8r_OM&list=PLtBw6njQRU-rwp5__7C0oIVt26ZgjG9NI
    10. https://www.youtube.com/watch?v=zfiSAzpy9NM

    Here by I conclude this article , So far I have plotted the road map for fundamental deep learning concepts

    In the upcoming blogs , I will discuss more about Road map for Computer vision , Generative models ,Natural Language processing, Reinforcement learning

    I hope , This blog helps you! Happy Learning!

    Signing off Prabakaran Chandran

    An Ultimate Data science starter kit for beginners

    Hello Everyone! This is my first blog in my personal website. since I have gotten many request and queries on how to start learning data science , I have decided to write this blog in much more practical way.

    This blog will guide you in terms of what are the fundamental concepts to be learnt in the initial stage . If you learn these foundational skills it will be really helpful for you to build advanced skills in data science.

    Data Science Starter Kit

    Month 1 – Foundation phase

    In the month 1 , concentrate more on listed foundational concepts. second month onwards we will start learning intermediate topics such as regression analysis , classification , time series forecasting

    Tech – 1 : Python programming language
    S.NoPython topic
    1Python variables , statements ,Data types
    2Arithmetic operations ,
    logical and relational operations
    3For , while loops , if conditions
    4User defined functions
    5python data structures strings
    6Object orient programming – Classes and objects
    7Numpy – Matrix operations
    8Pandas – Data frame operations
    9Seaborn,Matplotlib,plotly
    10Scipy , Statsmodels
    Tech – 2 : SQL and EXCEL
    S.NoTopics to Learn
    SQL – 1Create , insert , alter tables
    2Aggregating, Manipulating and Filtering data
    3Joins and Sub Queries
    4Window functions
    5Unions , Index , Regex
    EXCEL -1Mathematical , Relational ,Logical operations
    2Lookups , Index , match
    3Charts and pivot tables
    4Macros
    5Dashboarding
    Math -1 : Statistics and Probability
    S.NoConcepts to learn
    1Different types of data and visualizations
    2Mean , Median , Frequency , Mode , Sample and Population
    3Central tendency and Normal Distribution central limit theorem
    4Point estimate and confidence interval , Sampling distribution
    5Null and Alternate hypothesis , Hypothesis testing and distributions
    6T tests , F tests , Z test , ANOVA , Chi Square
    7Correlation and Covariance
    8Non Parametric Hypothesis testing
    9Probability and distributions
    10Different Probability distributions
    11Conditional probability and inverse probability
    12Expectation and Variance
    13Bayes Theorem
    14Maximum likelihood
    Business -1 – Understanding applications and case studies of Data science across different domains

    Pharmaceuticals

    Finance

    Banking

    Retail

    CPG

    Telecom

    at the end of the first month , you will be having fundamental idea about what is data science , how to handle data , how to visualize data , how to manipulate and get findings from the data. Try to cross learn the concepts and practice the statistical lessons using python or excel. In this stage you will get the skillsets for becoming a data analyst / Business analyst role

    Month 2 : Statistical and Machine learning algorithms

    Math -1 : Introduction to Statistical learning and Machine learning
    S.NoAlgorithms to learn
    1Simple linear regression ,Multiple linear regression
    2Penalized linear regression and non linear regression
    3Logistic regression and Genarlised linear models
    4Linear mixed effects models
    5Decision trees , Random forests (Bagging)
    6Gradient boosting , Adaptive Gradient Boosting
    7Extreme Gradient Boosting , Cat Boosting , Light Gradient boosting
    8Stacking and blending
    9K Nearest Neighbors , Naïve Bayes Classification
    10Support vector machine
    11K Means clustering , DB Scan , Hierarchial clustering PCA
    12Time series – ARIMA , AR , MA , SARIMA ,Exponential smoothing
    13Basics of Neural Networks – Weights and Biases
    14Back propagation and Multilayer perceptron
    15Machine learning development lifecycle – MLOPs

    Tech stack to be learnt – Month 2

    Learn and Practice the following frameworks along with the listed algorithms

    Benchmark Problems to practice :

    Practice Regression , classification , clustering , forecasting problems using benchmark datasets

    1. Flower species classification – Iris data set
    2. Boston House price prediction – Boston dataset
    3. Clustering Different wine categories
    4. Time series forecasting

    Kindly Don’t restrict with the algorithms explore more datasets and practice listed algorithms. learn like a machine ( i mean learn from your errors)

    Month 3 : Projects and Portfolio Development

    Based on the Learnings from the first 2 months , start building your own projects based on your own design.

    Manage your projects in github , use online platforms like kaggle , colab for practicing and working along with the data science community

    Start participating in the coding , problem solving competitions in online platforms like leetcode , hackerrank , hackerearth , techgig, analytics vidya,analytics india magazine

    Create your portfolio with Various projects from regression , classification , clustering ,forecasting problems .

    Prepare a data story flow deck and present them along with your portfolio

    start applying for internships or jobs

    Never stop learning – continue to learn advanced algorithms and methodologies

    Implement the algorithms to serve a purpose / solve a problem in a Retail/Pharma/Banking/CPG/Telecom domain.

    This will help you to integrate your business , tech and math skills .

    Happy learning – I Hope this blog helps you

    Thanks for Reading.