توکن چیست؟ Token
توکن واحدی است که مدلهای زبانی متن را با آن میشمارند؛ تقریباً یک کلمهٔ کوتاه یا تکهای از یک کلمه. محدودیت طول پیام، اندازهٔ پنجرهٔ متن و هزینهٔ استفاده از API بر اساس توکن حساب میشود. متن فارسی معمولاً برای همان معنی توکن بیشتری از متن انگلیسی مصرف میکند.
مدل متن را حرفبهحرف یا کلمهبهکلمه نمیخواند؛ آن را به تکههایی به نام توکن میشکند. در انگلیسی هر توکن بهطور میانگین حدود چهار حرف است، یعنی یک کلمهٔ رایج اغلب یک توکن است. کلمههای فارسی، بهخصوص کلمههای بلند و ترکیبی، معمولاً به چند توکن شکسته میشوند؛ عدد دقیق به مدل بستگی دارد.
اگر از اپ ChatGPT یا Gemini استفاده میکنی، توکن را مستقیم نمیبینی، ولی اثرش را میبینی: پیام خیلی بلند ممکن است پذیرفته نشود، جواب وسط کار قطع شود یا گفتوگوی طولانی اولش را فراموش کند. اگر با API کار میکنی، هزینه بر اساس توکنهای ورودی و خروجی حساب میشود و OpenAI ابزاری به نام Tokenizer دارد که تعداد توکنهای یک متن را نشان میدهد.
اشتباه رایج این است که توکن را با کلمه یکی بگیری و طول متن را دستکم بزنی. اگر جواب نصفه ماند، بنویس «ادامه بده» یا از اول بخواه جواب را در چند بخش بدهد. برای صرفهجویی هم مقدمهچینی و جملههای تکراری را از پرامپت حذف کن؛ اطلاعات لازم را نه.
جوابی که نصفه میماند و راه درستش
یک راهنمای کامل ۵۰۰۰ کلمهای دربارهٔ راهاندازی فروشگاه اینترنتی بنویس.
یک راهنمای راهاندازی فروشگاه اینترنتی میخواهم. اول فقط فهرست ۸ بخش آن را بده. بعد هر بار که نوشتم «بخش بعد»، فقط همان بخش را در حدود ۴۰۰ کلمه بنویس.
تقسیم جواب به بخشهای کوتاهتر هر پاسخ را زیر سقف خروجی مدل نگه میدارد و متن وسط کار قطع نمیشود.
پرامپتهایی برای امتحانش
نوشتن API با Node.js و Express از روی توضیح فارسی
توضیح بده چه دادهای داری و چه عملیاتی لازم است؛ یک API کامل با مسیرها، اعتبارسنجی ورودی، مدیریت خطا و نمونه درخواست بگیر. ساختار فایلها طوری است که بعدا بتوانی گسترش بدهی.
پاسخ به نظر داوران مقاله (Response to Reviewers)
نظر داورها آمده و باید نامهٔ پاسخ بنویسی. برای هر نظر یک پاسخ محترمانه و دقیق میسازد: تشکر کوتاه، آنچه تغییر کرد با شمارهٔ صفحه، یا دلیل علمی برای تغییر ندادن. بدون چاپلوسی و بدون لحن دفاعی.
نوشتن چکیدهٔ مقاله به فارسی و انگلیسی
از متن مقاله یا یادداشتهایت، چکیدهٔ ساختاریافته در ۲۰۰ تا ۲۵۰ کلمه میسازد: زمینه، هدف، روش، یافتهها، نتیجه. نسخهٔ انگلیسی با زبان علمی طبیعی، نه ترجمهٔ کلمهبهکلمه، و کلیدواژههای مناسب.
طراحی پرسشنامه و سؤالهای مصاحبه برای پژوهش
از روی سؤال پژوهش، پرسشنامهای با مقیاس مناسب یا راهنمای مصاحبهٔ نیمهساختاریافته میسازد. هر سؤال به یک متغیر وصل است، سؤالهای جهتدار و دوپهلو حذف شدهاند و روش سنجش روایی و پایایی پیشنهاد میشود.
سؤالهای رایج
- هر کلمهٔ فارسی چند توکن است؟
- عدد ثابتی ندارد و به مدل و خود کلمه بستگی دارد. کلمههای کوتاه و رایج ممکن است یک یا دو توکن باشند و کلمههای بلند بیشتر؛ برای شمارش دقیق از ابزار شمارش توکن همان مدل استفاده کن.
- در نسخهٔ رایگان ChatGPT باید نگران توکن باشم؟
- بابت توکن پولی نمیدهی، ولی محدودیت طول پیام و پنجرهٔ متن هنوز هست. اگر متنت خیلی بلند است، آن را در چند پیام بفرست.