மாதிரி பயிற்சியில் சேமிப்பு முக்கிய தடையாக மாற வேண்டாம்

தொழில்நுட்ப நிறுவனங்கள் GPUகளுக்காக துடிக்கின்றன அல்லது அவற்றைப் பெறுவதற்கான பாதையில் உள்ளன என்று கூறப்படுகிறது. ஏப்ரலில், டெஸ்லா தலைமை நிர்வாக அதிகாரி எலோன் மஸ்க் 10,000 GPUகளை வாங்கினார் மற்றும் நிறுவனம் NVIDIA இலிருந்து அதிக அளவிலான GPUகளை வாங்குவதைத் தொடரும் என்று கூறினார். நிறுவனப் பக்கத்தில், முதலீட்டின் மீதான வருவாயை அதிகரிக்க GPUகள் தொடர்ந்து பயன்படுத்தப்படுவதை உறுதிசெய்ய ஐடி பணியாளர்களும் கடுமையாக உழைக்கின்றனர். இருப்பினும், சில நிறுவனங்கள் GPUகளின் எண்ணிக்கை அதிகரிக்கும் போது, ​​GPU செயலற்ற நிலை மிகவும் கடுமையானதாகிறது.

உயர்-செயல்திறன் கணினி (HPC) பற்றி வரலாறு நமக்கு எதையும் கற்பித்திருந்தால், கணக்கீட்டில் அதிக கவனம் செலுத்துவதன் செலவில் சேமிப்பகம் மற்றும் நெட்வொர்க்கிங் ஆகியவற்றை தியாகம் செய்யக்கூடாது. சேமிப்பகத்தால் கணினி அலகுகளுக்கு தரவை திறம்பட மாற்ற முடியாவிட்டால், உலகில் அதிகமான GPUகள் உங்களிடம் இருந்தாலும், உங்களால் உகந்த செயல்திறனை அடைய முடியாது.

ஸ்மால் வேர்ல்ட் பிக் டேட்டாவின் ஆய்வாளரான மைக் மாட்செட்டின் கூற்றுப்படி, சிறிய மாடல்களை நினைவகத்தில் (ரேம்) செயல்படுத்த முடியும், இது கணக்கீட்டில் அதிக கவனம் செலுத்த அனுமதிக்கிறது. இருப்பினும், பில்லியன்கணக்கான முனைகளைக் கொண்ட ChatGPT போன்ற பெரிய மாடல்களை அதிக விலையின் காரணமாக நினைவகத்தில் சேமிக்க முடியாது.

"உங்களால் நினைவகத்தில் பில்லியன்கணக்கான முனைகளை பொருத்த முடியாது, எனவே சேமிப்பகம் இன்னும் முக்கியமானது" என்று மேட்செட் கூறுகிறார். துரதிர்ஷ்டவசமாக, திட்டமிடல் செயல்பாட்டின் போது தரவு சேமிப்பகம் பெரும்பாலும் கவனிக்கப்படுவதில்லை.

பொதுவாக, பயன்பாட்டு வழக்கைப் பொருட்படுத்தாமல், மாதிரி பயிற்சி செயல்பாட்டில் நான்கு பொதுவான புள்ளிகள் உள்ளன:

1. மாதிரி பயிற்சி
2. அனுமான விண்ணப்பம்
3. தரவு சேமிப்பு
4. முடுக்கப்பட்ட கணினி

மாதிரிகளை உருவாக்கி, பயன்படுத்தும்போது, ​​பெரும்பாலான தேவைகள், விரைவான ப்ரூஃப்-ஆஃப்-கான்செப்ட் (POC) அல்லது மாதிரிப் பயிற்சியைத் தொடங்குவதற்கு சோதனைச் சூழல்களுக்கு முன்னுரிமை அளிக்கின்றன.

இருப்பினும், பயிற்சி அல்லது அனுமானம் வரிசைப்படுத்துதல் மாதங்கள் அல்லது ஆண்டுகள் கூட நீடிக்கும் என்பதில் சவால் உள்ளது. இந்த நேரத்தில் பல நிறுவனங்கள் தங்கள் மாதிரி அளவுகளை விரைவாக அளவிடுகின்றன, மேலும் வளர்ந்து வரும் மாதிரிகள் மற்றும் தரவுத்தொகுப்புகளுக்கு இடமளிக்கும் வகையில் உள்கட்டமைப்பு விரிவாக்கப்பட வேண்டும்.

மில்லியன் கணக்கான ML பயிற்சிப் பணிச்சுமைகள் பற்றிய கூகுளின் ஆய்வு, பயிற்சி நேரத்தின் சராசரியாக 30% உள்ளீட்டுத் தரவுக் குழாயில் செலவிடப்படுகிறது என்பதை வெளிப்படுத்துகிறது. பயிற்சியை விரைவுபடுத்துவதற்கு GPUகளை மேம்படுத்துவதில் கடந்தகால ஆராய்ச்சி கவனம் செலுத்தியிருந்தாலும், தரவுக் குழாயின் பல்வேறு பகுதிகளை மேம்படுத்துவதில் பல சவால்கள் இன்னும் இருக்கின்றன. உங்களிடம் கணிசமான கணக்கீட்டு சக்தி இருக்கும்போது, ​​முடிவுகளைப் பெறுவதற்கு நீங்கள் எவ்வளவு விரைவாக கணக்கீடுகளில் தரவை வழங்கலாம் என்பது உண்மையான தடையாக மாறும்.

குறிப்பாக, தரவு சேமிப்பு மற்றும் நிர்வாகத்தில் உள்ள சவால்களுக்கு, தரவு வளர்ச்சிக்கான திட்டமிடல் தேவைப்படுகிறது, இது நீங்கள் முன்னேறும்போது தரவின் மதிப்பைத் தொடர்ந்து பிரித்தெடுக்க அனுமதிக்கிறது, குறிப்பாக ஆழ்ந்த கற்றல் மற்றும் நரம்பியல் நெட்வொர்க்குகள் போன்ற மேம்பட்ட பயன்பாட்டு நிகழ்வுகளில் ஈடுபடும்போது, ​​அதிக கோரிக்கைகளை வைக்கிறது. திறன், செயல்திறன் மற்றும் அளவிடுதல் ஆகியவற்றின் அடிப்படையில் சேமிப்பு.

குறிப்பாக:

அளவிடுதல்
இயந்திரக் கற்றலுக்குப் பரந்த அளவிலான தரவுகளைக் கையாள்வது தேவைப்படுகிறது, மேலும் தரவின் அளவு அதிகரிக்கும்போது, ​​மாதிரிகளின் துல்லியமும் மேம்படும். வணிகங்கள் ஒவ்வொரு நாளும் கூடுதல் தரவைச் சேகரித்துச் சேமிக்க வேண்டும் என்பதே இதன் பொருள். சேமிப்பகத்தை அளவிட முடியாதபோது, ​​​​தரவு-தீவிர பணிச்சுமைகள் இடையூறுகளை உருவாக்குகின்றன, செயல்திறனைக் கட்டுப்படுத்துகின்றன மற்றும் விலையுயர்ந்த GPU செயலற்ற நேரத்தை உருவாக்குகின்றன.

நெகிழ்வுத்தன்மை
பல நெறிமுறைகளுக்கான நெகிழ்வான ஆதரவு (NFS, SMB, HTTP, FTP, HDFS மற்றும் S3 உட்பட) வெவ்வேறு அமைப்புகளின் தேவைகளைப் பூர்த்தி செய்ய, ஒரு வகையான சூழலுக்கு மட்டுப்படுத்தப்படுவதற்குப் பதிலாக அவசியம்.

தாமதம்
தரவு பலமுறை படிக்கப்பட்டு மீண்டும் படிக்கப்படுவதால் மாதிரிகளை உருவாக்குவதற்கும் பயன்படுத்துவதற்கும் I/O தாமதம் முக்கியமானது. I/O தாமதத்தை குறைப்பது மாடல்களின் பயிற்சி நேரத்தை நாட்கள் அல்லது மாதங்கள் குறைக்கலாம். வேகமான மாதிரி மேம்பாடு நேரடியாக அதிக வணிக நன்மைகளை மொழிபெயர்க்கிறது.

செயல்திறன்
திறமையான மாதிரி பயிற்சிக்கு சேமிப்பக அமைப்புகளின் செயல்திறன் முக்கியமானது. பயிற்சி செயல்முறைகள் பெரிய அளவிலான தரவுகளை உள்ளடக்கியது, பொதுவாக ஒரு மணி நேரத்திற்கு டெராபைட்கள்.

இணை அணுகல்
அதிக செயல்திறனை அடைய, பயிற்சி மாதிரிகள் செயல்பாடுகளை பல இணையான பணிகளாக பிரிக்கின்றன. இயந்திர கற்றல் வழிமுறைகள் ஒரே நேரத்தில் பல செயல்முறைகளிலிருந்து (பல இயற்பியல் சேவையகங்களில்) ஒரே கோப்புகளை அணுகுவதை இது பெரும்பாலும் குறிக்கிறது. சேமிப்பக அமைப்பு செயல்திறனில் சமரசம் செய்யாமல் ஒரே நேரத்தில் தேவைகளைக் கையாள வேண்டும்.

குறைந்த தாமதம், அதிக செயல்திறன் மற்றும் பெரிய அளவிலான இணையான I/O ஆகியவற்றில் அதன் சிறந்த திறன்களுடன், டெல் பவர்ஸ்கேல் GPU-முடுக்கப்பட்ட கணினிக்கு சிறந்த சேமிப்பக நிரப்பியாகும். பவர்ஸ்கேல் பல டெராபைட் தரவுத்தொகுப்புகளைப் பயிற்றுவிக்கும் மற்றும் சோதிக்கும் பகுப்பாய்வு மாதிரிகளுக்குத் தேவைப்படும் நேரத்தை திறம்பட குறைக்கிறது. PowerScale ஆல்-ஃபிளாஷ் சேமிப்பகத்தில், அலைவரிசை 18 மடங்கு அதிகரிக்கிறது, I/O இடையூறுகளை நீக்குகிறது, மேலும் பெரிய அளவிலான கட்டமைக்கப்படாத தரவுகளின் மதிப்பை துரிதப்படுத்தவும் திறக்கவும் இருக்கும் Isilon கிளஸ்டர்களில் சேர்க்கலாம்.

மேலும், PowerScale இன் மல்டி-ப்ரோட்டோகால் அணுகல் திறன்கள் இயங்கும் பணிச்சுமைக்கு வரம்பற்ற நெகிழ்வுத்தன்மையை வழங்குகிறது, இது ஒரு நெறிமுறையைப் பயன்படுத்தி தரவைச் சேமிக்கவும் மற்றொரு நெறிமுறையைப் பயன்படுத்தி அணுகவும் அனுமதிக்கிறது. குறிப்பாக, PowerScale தளத்தின் சக்திவாய்ந்த அம்சங்கள், நெகிழ்வுத்தன்மை, அளவிடுதல் மற்றும் நிறுவன தர செயல்பாடு ஆகியவை பின்வரும் சவால்களை எதிர்கொள்ள உதவுகின்றன:

- மாதிரி பயிற்சி சுழற்சியை குறைத்து, 2.7 மடங்கு வரை புதுமைகளை துரிதப்படுத்துங்கள்.

- I/O இடையூறுகளை நீக்கி, வேகமான மாதிரி பயிற்சி மற்றும் சரிபார்ப்பு, மேம்படுத்தப்பட்ட மாதிரி துல்லியம், மேம்படுத்தப்பட்ட தரவு அறிவியல் உற்பத்தித்திறன் மற்றும் நிறுவன தர அம்சங்கள், உயர் செயல்திறன், ஒத்திசைவு மற்றும் அளவிடுதல் ஆகியவற்றை மேம்படுத்துவதன் மூலம் கம்ப்யூட்டிங் முதலீடுகளில் அதிகபட்ச வருவாயை வழங்குகிறது. ஒரு கிளஸ்டரில் 119 பிபி வரை பயனுள்ள சேமிப்பக திறனை மேம்படுத்துவதன் மூலம் ஆழமான, உயர்-தெளிவு தரவுத்தொகுப்புகளுடன் மாதிரி துல்லியத்தை மேம்படுத்தவும்.

- சிறிய மற்றும் சுயாதீனமாக அளவிடும் கணக்கீடு மற்றும் சேமிப்பகத்தைத் தொடங்கி, வலுவான தரவுப் பாதுகாப்பு மற்றும் பாதுகாப்பு விருப்பங்களை வழங்குவதன் மூலம் அளவிலான வரிசைப்படுத்தலை அடையலாம்.

- வேகமான, குறைந்த ஆபத்துள்ள வரிசைப்படுத்தல்களுக்கான இடப் பகுப்பாய்வு மற்றும் முன் சரிபார்க்கப்பட்ட தீர்வுகள் மூலம் தரவு அறிவியல் உற்பத்தித்திறனை மேம்படுத்தவும்.

- NVIDIA GPU முடுக்கம் மற்றும் NVIDIA DGX அமைப்புகளுடன் குறிப்பு கட்டமைப்புகள் உட்பட சிறந்த-இனத் தொழில்நுட்பங்களின் அடிப்படையில் நிரூபிக்கப்பட்ட வடிவமைப்புகளை மேம்படுத்துதல். பவர்ஸ்கேலின் உயர் செயல்திறன் மற்றும் ஒத்திசைவானது, தரவு கையகப்படுத்தல் மற்றும் தயாரித்தல் முதல் மாதிரி பயிற்சி மற்றும் அனுமானம் வரை இயந்திரக் கற்றலின் ஒவ்வொரு கட்டத்திலும் சேமிப்பக செயல்திறன் தேவைகளைப் பூர்த்தி செய்கிறது. OneFS இயக்க முறைமையுடன், அனைத்து முனைகளும் ஒரே OneFS-இயக்கப்படும் கிளஸ்டருக்குள் தடையின்றி செயல்பட முடியும், செயல்திறன் மேலாண்மை, தரவு மேலாண்மை, பாதுகாப்பு மற்றும் தரவுப் பாதுகாப்பு போன்ற நிறுவன-நிலை அம்சங்களுடன், வணிகங்களுக்கான மாதிரி பயிற்சி மற்றும் சரிபார்ப்பை விரைவாக முடிக்க உதவுகிறது.