ارزیابی پژوهشهای علمی اغلب با شاخصهایی مانند چارک نشریه، ضریب تأثیر مجله و شمار استنادها همراه است؛ شاخصهایی که، با وجود برخورداری از کاربردهای معتبر، ممکن است در فرایندهای ارزیابی بهاشتباه بهعنوان جانشین کیفیت علمی مقاله به کار روند. این مسئله در روانشناسی و رواندرمانی اهمیت ویژهای دارد؛ زیرا ارزش یک پژوهش، افزون بر ویژگیهای روششناختی و نظری آن، ممکن است به قابلیت بازتولید، اعتبار اندازهگیری، اهمیت بالینی، تناسب فرهنگی و پیامدهای آن برای عمل حرفهای وابسته باشد. هدف مقالهٔ حاضر، صورتبندی چارچوبی مفهومی برای تمایز میان جایگاه نشریه، اثر استنادی مقاله، کیفیت علمی اثر و ارزش کاربردی آن و نیز تبیین اصول طراحی نظامی شفاف برای ارزیابی و شناسایی آثار برجسته است. مقاله با رویکرد مفهومی ـ تحلیلی و با اتکا به ادبیات ارزیابی مسئولانهٔ پژوهش، اصول اخلاق داوری همتا و استانداردهای گزارشدهی پژوهش در روانشناسی تدوین شده است. در چارچوب پیشنهادی، ارزیابی در چهار سطح مرتبط اما متمایز سازمان مییابد: جایگاه نشریه، کیفیت علمی مقاله، اثر استنادی و اثر علمی ـ حرفهای. سپس، اصول طراحی یک نظام داوری مستقل، از جمله تناسب معیارها با نوع مقاله، شفافیت رویهها، مدیریت تعارض منافع، کالیبراسیون داوران و بررسی پایایی و اعتبار ارزیابی، تشریح میشود. در این چارچوب، امتیازدهی عددی صرفاً ابزاری برای سازماندهی قضاوت است و نه جایگزینی برای استدلال تخصصی. همچنین، شناسایی یا تقدیر از آثار برجسته بهعنوان تصمیمی متمایز از داوری علمی تعریف میشود. نتیجهٔ اصلی مقاله آن است که ارزیابی مسئولانه مستلزم ترکیب داوری محتوایی، شاخصهای کمی زمینهمند و شواهد مربوط به کیفیت و کاربرد پژوهش است. چارچوب حاضر پیشنهادی نظری است و پیش از استفاده در تصمیمهای رسمی، به اعتبارسنجی تجربی و بررسی پایایی بینداوران نیاز دارد.
واژگان کلیدی: چارک نشریه (Journal Quartile)، ارزیابی مسئولانهٔ پژوهش (Responsible Research Assessment)، کیفیت علمی مقاله (Article Quality)، اثر استنادی (Citation Impact)، داوری همتا (Peer Review)، روانشناسی (Psychology)، رواندرمانی (Psychotherapy)، پایایی بینداوران (Inter-Rater Reliability).
ارزیابی کیفیت پژوهش از مسائل بنیادین نظام علم است. دانشگاهها، نشریات، نهادهای تأمین مالی و انجمنهای حرفهای برای تصمیمگیری دربارهٔ انتشار مقاله، تخصیص منابع، ارتقای دانشگاهی و شناسایی آثار برجسته، به شواهدی دربارهٔ ارزش علمی پژوهش نیاز دارند. در چنین زمینهای، شاخصهای کمیِ مبتنی بر استناد و رتبهبندی نشریات به دلیل دسترسپذیری، امکان مقایسه و سهولت استفاده گسترش یافتهاند. بااینحال، سهولت اندازهگیری یک ویژگی به معنای کفایت آن برای پاسخگویی به همهٔ پرسشهای ارزیابی نیست.
یکی از خطاهای رایج، انتقال ویژگیهای یک نشریه به مقالهای خاص است؛ برای مثال، این استدلال که چون مقالهای در نشریهای با رتبهٔ بالا منتشر شده است، پس لزوماً از کیفیت علمی بالایی برخوردار است. خطای معکوس نیز ممکن است رخ دهد: مقالهای که در نشریهای با رتبهٔ پایینتر منتشر شده، صرفاً به دلیل جایگاه نشریه کمارزش تلقی شود. هر دو استدلال از نظر منطقی ناروا هستند؛ زیرا ویژگیهای یک مجموعهٔ انتشاراتی را بهصورت مستقیم به یک عضو منفرد آن نسبت میدهند.
بیانیهٔ سانفرانسیسکو دربارهٔ ارزیابی پژوهش (San Francisco Declaration on Research Assessment; DORA) بهصراحت توصیه میکند که شاخصهای مبتنی بر نشریه، از جمله ضریب تأثیر مجله، جانشین ارزیابی کیفیت مقاله یا سهم علمی فرد پژوهشگر نشوند. راهنمای ارزیابی مسئولانهٔ شاخصهای کمی نیز بر شفافیت، تناسب، زمینهمندی و انصاف در استفاده از سنجهها تأکید میکند (DORA, 2024). https://sfdora.org/resource/guidance-on-the-responsible-use-of-quantitative-indicators-in-research-assessment/
این مسئله در روانشناسی و رواندرمانی پیچیدگی بیشتری دارد. در این حوزهها، یک مقاله ممکن است از نظر نظری نوآورانه باشد، اما هنوز شواهد تجربی کافی برای کاربرد بالینی نداشته باشد؛ پژوهشی ممکن است از نظر روششناختی دقیق باشد، اما تعمیمپذیری محدودی به جمعیتهای دیگر داشته باشد؛ یا مقالهای ممکن است تأثیر قابلتوجهی بر رویهٔ درمانی بگذارد، بیآنکه در کوتاهمدت استنادهای فراوانی دریافت کند. بنابراین، ارزیابی علمی به چارچوبی نیاز دارد که میان انواع ارزش پژوهش تمایز بگذارد و از فروکاستن آنها به یک شاخص واحد پرهیز کند.
مسئلهٔ محوری این مقاله آن است که چگونه میتوان کیفیت علمی مقاله را مستقل از جایگاه نشریه ارزیابی کرد، از شاخصهای استنادی بهصورت مسئولانه بهره برد و در صورت نیاز، آثار برجسته را بر پایهٔ معیارهایی شفاف و قابلدفاع شناسایی کرد؟
هدف مقاله، ارائهٔ چارچوبی مفهومی برای پاسخ به این پرسش است. نوآوری پیشنهادی در اصلِ نقد ضریب تأثیر یا توصیه به داوری کیفی خلاصه نمیشود؛ بلکه در سازماندهی چهار سطح ارزیابی در یک چارچوب واحد و تفکیک تصمیمهای مربوط به کیفیت علمی، اثر پژوهش و تقدیر از آثار برجسته قرار دارد. این نوآوری، در مرحلهٔ حاضر، یک پیشنهاد مفهومی است و ادعای اصالت آن باید در پژوهشی مستقل با مرور جامع ادبیات ارزیابی پژوهش بررسی شود.
این مقاله از نوع مفهومی ـ تحلیلی است و هدف آن آزمون یک فرضیهٔ تجربی یا گزارش نتایج یک مطالعهٔ میدانی نیست. استدلال آن بر تحلیل مفاهیم، مقایسهٔ اصول ارزیابی مسئولانهٔ پژوهش و تلفیق آنها در چارچوبی پیشنهادی متمرکز است.
منابع مورد استفاده شامل راهنماهای ارزیابی مسئولانهٔ شاخصهای کمی، بیانیههای مرتبط با ارزیابی پژوهش، اصول اخلاق داوری همتا و استانداردهای گزارشدهی پژوهش در روانشناسی است. در این مقاله، از این منابع برای پشتیبانی از اصول کلی استفاده میشود؛ نه برای ادعای انجام مرور نظاممند یا تعیین فراوانی شواهد.
ازاینرو، چارچوب نهایی باید بهعنوان الگویی نظری برای توسعه و آزمون بعدی تلقی شود. برای ادعای جامعیت ادبیات، تعیین دقیق میزان نوآوری یا پیشنهاد آن بهعنوان استاندارد رسمی، اجرای مرور دامنهای یا نظاممند با راهبرد جستوجوی شفاف، معیارهای ورود و خروج مشخص و فرایند مستندسازی انتخاب منابع ضروری خواهد بود.
چارک نشریه (Journal Quartile) جایگاه نسبی یک نشریه را در یک طبقهبندی موضوعی و در یک نظام رتبهبندی معین نشان میدهد. در نظام گزارشهای استنادی مجلات (Journal Citation Reports; JCR)، رتبهبندی بر اساس ضریب تأثیر مجله و نیز شاخصهای مشخص دیگری مانند شاخص استنادی مجله انجام میشود. در نظام SCImago نیز شاخص SCImago Journal Rank (SJR) مبنای رتبهبندی مربوط به خود است. این دو نظام از نظر دادهها، روش محاسبه و سنجههای مورد استفاده یکسان نیستند؛ بنابراین، عبارت «مجلهٔ Q1» بدون ذکر نظام رتبهبندی، سال و طبقهٔ موضوعی، ممکن است اطلاعات ناقصی ارائه کند. یک نشریه نیز ممکن است در طبقههای موضوعی مختلف، رتبههای متفاوتی داشته باشد. https://journalcitationreports.zendesk.com/hc/en-gb/articles/28351666061457-Glossary؛ https://www.elsevier.support/scopus/answer/what-is-scimago-journal-rank
چارک نخست معمولاً به یکچهارم بالایی نشریات در طبقهبندی مربوط اشاره دارد؛ اما این جایگاه نسبی را نباید با احتمال صحت نتایج یک مقاله، استحکام روششناختی آن یا اهمیت بالینی یافتههایش یکسان دانست. چارک، اطلاعاتی دربارهٔ موقعیت نشریه در یک نظام مقایسهای فراهم میکند؛ نه حکم مستقیمی دربارهٔ کیفیت تکتک مقالات منتشرشده در آن.
اثر استنادی (Citation Impact) به میزان و الگوی استنادهایی اشاره دارد که یک مقاله یا مجموعهای از آثار دریافت میکند. شمار استنادها، شاخصهای استنادی نرمالشده و برخی سنجههای شبکهای میتوانند جنبههایی از توجه علمی، نفوذ یا استفاده از یک اثر را نشان دهند. بااینحال، استنادها معانی یکسانی ندارند: ممکن است به دلیل تأیید، نقد، مقایسه، استفاده از روش یا صرفاً اشاره به پیشینه صورت گیرند.
ازاینرو، شمار استنادها نه شاخصی بیمعناست و نه معیاری کامل برای کیفیت. ارزش آن به پرسش ارزیابی، رشتهٔ علمی، نوع مقاله، زمان سپریشده از انتشار، پوشش پایگاه داده و شیوهٔ استناددهی وابسته است. راهنمای ارزیابی مسئولانهٔ DORA توصیه میکند که شاخصهای کمی با توجه به هدف، زمینه و محدودیتهایشان تفسیر شوند، نه آنکه بهصورت خودکار به معیار تصمیم تبدیل شوند (DORA, 2024).
کیفیت علمی مقاله (Article Quality) به استحکام استدلالها و شواهدی اشاره دارد که مقاله برای پاسخ به پرسش خود ارائه میکند. این کیفیت باید در ارتباط با نوع مقاله و ادعاهای آن ارزیابی شود. برای مثال، معیارهای مناسب برای یک کارآزمایی بالینی با معیارهای یک مقالهٔ نظری، مطالعهٔ کیفی، مرور نظاممند یا گزارش موردی یکسان نیست.
در پژوهشهای کمی، کیفیت ممکن است به تناسب طرح مطالعه، اعتبار ابزارها، کفایت نمونه، شفافیت تحلیل، مدیریت دادههای گمشده و تناسب نتیجهگیری با یافتهها وابسته باشد. در پژوهشهای کیفی، انسجام روششناختی، شفافیت موضع پژوهشگر، تناسب نمونهگیری، عمق تحلیل و پشتیبانی تفسیرها از دادهها اهمیت مییابد. در مقالات مفهومی، وضوح مفاهیم، انسجام استدلال، تعامل انتقادی با ادبیات، قدرت تبیینی و قابلیت تولید پرسشهای پژوهشی اهمیت بیشتری پیدا میکند.
استانداردهای گزارشدهی مجلههای انجمن روانشناسی آمریکا (APA Style Journal Article Reporting Standards; JARS) برای روشهای کمی، کیفی و آمیخته راهنماهایی فراهم میکنند تا گزارش پژوهش شفافتر شود و ارزیابی استحکام آن امکانپذیرتر باشد. این استانداردها به شفافیت گزارش کمک میکنند، اما بهتنهایی جایگزین داوری تخصصی دربارهٔ کیفیت و اهمیت پژوهش نیستند. https://www.apa.org/pubs/journals/resources/open-science
اثر علمی ـ حرفهای (Scientific and Professional Impact) به پیامدهایی اشاره دارد که پژوهش ممکن است در تولید دانش، طراحی پژوهشهای بعدی، تدوین راهنماهای حرفهای، سیاستگذاری یا بهبود عمل روانشناختی و رواندرمانی داشته باشد. این اثر با کیفیت علمی مرتبط است، اما با آن یکسان نیست.
برای مثال، پژوهشی با روششناسی دقیق ممکن است در زمان انتشار هنوز اثر قابلتوجهی بر عمل بالینی نداشته باشد؛ در مقابل، یافتهای ممکن است توجه فراوانی جلب کند، اما کاربرد آن برای تصمیمگیری حرفهای به شواهد تکمیلی نیاز داشته باشد. بنابراین، اثر علمی و حرفهای باید در چارچوب زمان، نوع ادعا و میزان قطعیت شواهد بررسی شود.
تمایز سطوح یادشده صرفاً یک احتیاط زبانی نیست؛ پیامدهای روششناختی و اخلاقی دارد. اگر چارک مجله بهعنوان جانشین کیفیت مقاله استفاده شود، تفاوتهای دروننشریهای نادیده گرفته میشوند. اگر شمار استناد بهعنوان جانشین کیفیت به کار رود، آثار جدید، پژوهشهای کمشیوع یا آثار مهم برای عمل حرفهای ممکن است بهناروا کمارزش تلقی شوند. اگر کیفیت علمی با اثر کاربردی یکسان فرض شود، پژوهشهای بنیادی یا نظری ممکن است به دلیل نداشتن پیامد فوری کماهمیت شمرده شوند.
بیانیهٔ لایدن دربارهٔ سنجههای پژوهش تأکید میکند که ارزیابی کمی باید از قضاوت تخصصی پشتیبانی کند، نه اینکه جایگزین آن شود؛ همچنین، تفاوت رشتهها، مأموریتهای پژوهشی و پیامدهای نظامهای ارزیابی باید در نظر گرفته شوند (Hicks et al., 2015). https://www.nature.com/articles/520429a
از این منظر، بهتر است بهجای جستوجوی یک «عدد نهایی» برای کیفیت مقاله، ابتدا روشن شود که تصمیم مورد نظر چه ماهیتی دارد: داوری دربارهٔ پذیرش مقاله، ارزیابی کیفیت علمی، برآورد اثر استنادی، بررسی کاربرد حرفهای یا انتخاب اثر برای تقدیر. هر یک از این تصمیمها به شواهد و معیارهای متفاوتی نیاز دارند.
چارچوب پیشنهادی این مقاله چهار سطح را بهصورت متمایز اما مرتبط سازماندهی میکند. این سطوح قرار نیست چهار نمرهٔ مستقل را بهطور مکانیکی در یک فرمول ادغام کنند؛ هدف آنها روشنکردن نوع شواهد مورد نیاز و جلوگیری از استنتاجهای ناموجه است.
در این سطح، اطلاعاتی مانند نظام نمایهسازی، طبقهٔ موضوعی، سال رتبهبندی، چارک و شاخصهای نشریه ثبت میشوند. این اطلاعات برای شناخت محیط انتشار و مقایسهٔ نسبی نشریات مفیدند. بااینحال، نباید بهتنهایی مبنای داوری دربارهٔ مقاله یا نویسنده قرار گیرند.
حداقل اطلاعات گزارششونده عبارتاند از: نام نظام رتبهبندی، سال مربوط، طبقهٔ موضوعی، شاخص مورد استفاده و وضعیت نمایهسازی در منبع اصلی. اگر یک نشریه در چند طبقه قرار دارد، رتبهٔ مرتبط با هر طبقه باید جداگانه گزارش شود.
این سطح هستهٔ اصلی چارچوب است. معیارها باید بر اساس نوع مقاله انتخاب شوند و دستکم ابعاد زیر را پوشش دهند:
۱. اهمیت و وضوح مسئله: آیا مسئله روشن، معنادار و متناسب با هدف مقاله است؟
۲. اصالت و ارزش افزوده: آیا مقاله به دانش موجود چیزی میافزاید یا صرفاً مطالب پیشین را بازگویی میکند؟
۳. تناسب روش با پرسش: آیا روش پژوهش یا شیوهٔ استدلال برای پاسخ به پرسش انتخابشده مناسب است؟
۴. استحکام شواهد و استدلال: آیا نتیجهگیریها با دادهها، شواهد یا مقدمات نظری پشتیبانی میشوند؟
۵. شفافیت و قابلیت ارزیابی: آیا اطلاعات کافی برای بررسی انتقادی، بازتولید یا پیگیری استدلال ارائه شده است؟
۶. محدودیتها و مرزهای تعمیم: آیا محدودیتها بهروشنی بیان شدهاند و ادعاها از شواهد فراتر نمیروند؟
۷. اهمیت نظری یا کاربردی: آیا مقاله پیامدهایی روشن برای دانش، پژوهش آینده، سیاست یا عمل حرفهای دارد؟
این ابعاد یک فهرست اولیه برای طراحی ابزار ارزیابیاند، نه مقیاسی اعتبارسنجیشده. برای استفادهٔ رسمی، باید تعاریف عملیاتی، مثالهای راهنما و قواعد تصمیمگیری برای هر معیار تدوین شوند.
در این سطح، شمار استنادها و شاخصهای مرتبط، در صورت تناسب با هدف ارزیابی، بررسی میشوند. برای تفسیر منصفانه، باید نوع مقاله، رشته یا زیررشته، سال انتشار، پنجرهٔ زمانی استناد، پایگاه داده و روش نرمالسازی مشخص شوند. مقایسهٔ خام شمار استنادهای یک مقالهٔ مروری با یک مطالعهٔ تجربی تازهمنتشرشده، بدون توجه به تفاوتهای نوع مقاله و زمان، میتواند گمراهکننده باشد.
همچنین، شاخصهای استنادی باید بهعنوان شواهدی دربارهٔ توجه یا نفوذ استنادی تفسیر شوند، نه شاهد قطعی صحت، نوآوری یا کیفیت روششناختی. در مواردی که دادهها ناقص یا نامتناسباند، حذف شاخص از تصمیم بهتر از تولید عددی ظاهراً دقیق اما کماعتبار است.
در این سطح، شواهد مربوط به استفاده از یافتهها در پژوهشهای بعدی، راهنماهای بالینی، برنامههای آموزشی، خدمات سلامت روان یا سیاستگذاری بررسی میشوند. چنین شواهدی ممکن است شامل ارجاع مستند در دستورالعملهای حرفهای، استفاده از ابزار یا روش معرفیشده در مقاله، یا شواهد معتبر دربارهٔ تغییر رویه باشد.
بااینحال، اثرگذاری ادعاشده نباید صرفاً بر اساس خودتوصیفی نویسندگان یا شمار بازدیدها استنباط شود. همچنین، اثر حرفهای باید با کیفیت و ایمنی کاربرد مورد نظر سنجیده شود؛ انتشار گسترده یا استفادهٔ زیاد، بهتنهایی تضمینکنندهٔ مفیدبودن مداخله نیست.
یکی از خطرهای نظامهای امتیازدهی عمومی آن است که همهٔ مقالهها را با یک الگوی ثابت میسنجند. چنین رویکردی میتواند به سود یک نوع خاص از پژوهش و به زیان انواع دیگر تمام شود. چارچوب منصفانه باید معیارهای مشترک را از معیارهای وابسته به روش و نوع مقاله جدا کند.
در پژوهشهای کمی، تناسب طرح با پرسش، کیفیت سنجش، کفایت تحلیل، شفافیت گزارش و محدودکردن استنتاجها به شواهد موجود اهمیت دارد. معناداری آماری بهتنهایی نباید جانشین اهمیت نظری یا بالینی شود. همچنین، پژوهش باید میان تحلیلهای از پیش تعیینشده و تحلیلهای اکتشافی تمایز بگذارد، هرگاه این تمایز برای تفسیر نتایج اهمیت دارد.
در پژوهشهای کیفی، معیارهای ارزیابی باید با رویکرد روششناختی مقاله تناسب داشته باشند. وضوح پرسش، منطق نمونهگیری، شفافیت فرایند گردآوری و تحلیل دادهها، بازاندیشی دربارهٔ نقش پژوهشگر و پشتیبانی تفسیرها از دادهها از جمله ابعاد قابل بررسیاند. تحمیل معیارهای پژوهش کمی، بدون توجه به مبانی معرفتشناختی روش کیفی، میتواند به ارزیابی نامتناسب منجر شود.
در مرورهای نظاممند، شفافیت راهبرد جستوجو، معیارهای ورود و خروج، فرایند انتخاب مطالعات، ارزیابی خطر سوگیری و تناسب روش ترکیب شواهد اهمیت دارند. راهنمای PRISMA 2020 برای گزارش شفاف مرورهای نظاممند تدوین شده است؛ اما رعایت چکلیست گزارشدهی، بهخودیخود تضمین نمیکند که پرسش، روش یا نتیجهگیری مرور از کیفیت بالایی برخوردار باشد. https://www.prisma-statement.org/
در مقالهٔ مفهومی، کیفیت نباید با حجم منابع یا پیچیدگی اصطلاحات یکسان گرفته شود. معیارهای مهم عبارتاند از: تعریف دقیق سازهها، وضوح مسئلهٔ نظری، انسجام استدلال، تمایز میان ادعا و شاهد، تعامل انتقادی با نظریههای موجود، قدرت تبیینی و قابلیت تولید گزارههای آزمونپذیر یا پرسشهای پژوهشی جدید.
استفاده از استعاره یا چارچوب بینرشتهای زمانی ارزشمند است که به روشنشدن رابطهها یا تولید بینش تازه کمک کند؛ نه صرفاً هنگامی که واژگان یک رشته به رشتهای دیگر منتقل میشوند. در نتیجه، نوآوری مفهومی باید با وضوح، انسجام و قدرت تبیینی سنجیده شود.
در پژوهشهای بالینی، تناسب طرح، پیامدهای از پیش تعیینشده، ایمنی، عوارض، ریزش نمونه، کیفیت اندازهگیری و حدود تعمیم اهمیت دارند. در گزارشهای موردی، شرح روشن زمینه، فرایند مداخله، تغییرات مشاهدهشده و محدودیت استنتاج علّی ضروری است. یک گزارش موردی ممکن است برای تولید فرضیه یا فهم فرایند درمان ارزشمند باشد، اما بهتنهایی اثربخشی عمومی یک مداخله را اثبات نمیکند.
استانداردهای APA JARS و راهنماهای متناسب با طرح پژوهش میتوانند برای انتخاب معیارهای گزارشدهی مفید باشند؛ انتخاب هر راهنما باید با نوع مطالعه سازگار باشد. https://www.apa.org/pubs/journals/resources/open-science
برای تبدیل چارچوب نظری به ابزاری عملی، هر معیار باید تعریف، دامنه و شواهد قابلقبول مشخصی داشته باشد. برای مثال، عبارت «اصالت بالا» بدون تعریف عملیاتی میتواند برای داوران مختلف معانی متفاوتی داشته باشد. در مقابل، راهنمایی که از داور میخواهد سهم مقاله را نسبت به نزدیکترین ادبیات موجود توضیح دهد، دلیل قضاوت را آشکارتر میکند.
یک ابزار اولیه میتواند برای هر معیار سه جزء داشته باشد:
قضاوت توصیفی: داور چه ویژگی یا کاستیای را در مقاله مشاهده کرده است؟
شاهد: کدام بخش از متن، داده یا استدلال از این قضاوت پشتیبانی میکند؟
پیامد برای تصمیم: این ویژگی چه اثری بر اعتبار نتیجهگیری یا ارزش مقاله دارد؟
در صورت استفاده از مقیاس عددی، باید لنگرهای رفتاری یا توصیفی برای نقاط مقیاس تعیین شوند. برای نمونه، امتیاز بالا در شفافیت روش نباید صرفاً به برداشت کلی داور وابسته باشد؛ بلکه باید بر اساس میزان کفایت اطلاعات برای ارزیابی روش و پیگیری تحلیلها تعریف شود.
بااینحال، جمعکردن امتیازها در یک عدد نهایی ممکن است تفاوت میان نقصهای بحرانی و ضعفهای جزئی را پنهان کند. یک خطای اساسی در روش یا یک ادعای بالینی بدون پشتوانه ممکن است با امتیازهای بالا در نگارش یا اهمیت موضوع جبران نشود. بنابراین، در کنار امتیازهای احتمالی، باید قواعدی برای شناسایی نقصهای بحرانی و ارائهٔ استدلال کیفی وجود داشته باشد.
وزن هر معیار باید با هدف ارزیابی و نوع مقاله متناسب باشد. برای مثال، در کارآزمایی بالینی، اعتبار طراحی و گزارش پیامدها ممکن است نقشی تعیینکننده داشته باشند؛ در مقالهٔ نظری، انسجام استدلال و ارزش افزودهٔ مفهومی اهمیت بیشتری مییابند.
وزنها نباید صرفاً بر اساس توافق شهودی تدوین شوند. برای استفادهٔ رسمی، میتوان از فرایند خبرگی ساختارمند، تحلیل حساسیت و مقایسهٔ نتایج وزندهیهای متفاوت استفاده کرد. همچنین، باید بررسی شود که آیا تغییرات کوچک در وزنها، رتبهبندی آثار را بهطور چشمگیری تغییر میدهد یا خیر. حساسیت زیاد نتیجه به انتخاب وزنها، نشانهای از آن است که نمرهٔ نهایی نباید با قطعیت بیشازحد تفسیر شود.
پایایی بینداوران (Inter-Rater Reliability) به میزان توافق یا سازگاری قضاوتهای ارزیابان اشاره دارد. برای بررسی آن، انتخاب شاخص مناسب به ماهیت دادهها، تعداد داوران و طراحی ارزیابی وابسته است؛ توافق ساده، همبستگی و شاخصهای توافق تصحیحشده از نظر مفهومی یکسان نیستند.
اعتبار ابزار نیز باید از چند منظر بررسی شود: آیا معیارها واقعاً ابعاد مورد نظر کیفیت را پوشش میدهند؟ آیا امتیازها با شواهد مستقل مرتبطاند؟ آیا ابزار برای انواع مختلف مقاله عملکرد معقولی دارد؟ آیا نتایج آن به تغییرات ناموجه در ترکیب داوران حساس است؟
در این چارچوب، توافق بالا بهتنهایی اثبات نمیکند که ابزار کیفیت را بهدرستی میسنجد؛ داوران ممکن است بر مبنای یک معیار ناقص با یکدیگر توافق داشته باشند. به همین ترتیب، اختلاف میان داوران لزوماً به معنای شکست ابزار نیست؛ گاهی موضوع مقاله واقعاً محل اختلاف نظری است. بنابراین، پایایی باید در کنار شواهد اعتبار و تحلیل ماهیت اختلافها بررسی شود.
کیفیت ارزیابی تنها به محتوای معیارها وابسته نیست؛ فرایند اجرا نیز اهمیت دارد. داوری ساختارمند باید از اصولی مانند بیطرفی، محرمانگی، اعلام تعارض منافع، احترام به مالکیت فکری، ارائهٔ نقد سازنده و پرهیز از تأخیرهای غیرموجه پیروی کند. راهنمای اخلاق داوران کمیتهٔ اخلاق نشر (Committee on Publication Ethics; COPE) بر عینیبودن نقد، محرمانگی دستنوشته و اعلام تعارض منافع تأکید میکند (COPE, 2017/2019). https://doi.org/10.24318/2019.1.4
برای اجرای مسئولانهٔ چارچوب پیشنهادی، حداقل سازوکارهای زیر لازماند:
۱. تعریف عمومی معیارها: معیارها، وزنهای احتمالی و قواعد تصمیمگیری باید پیش از ارزیابی در دسترس باشند.
۲. مدیریت تعارض منافع: رابطههای حرفهای، مالی یا شخصی که ممکن است بر قضاوت اثر بگذارند باید اعلام و بررسی شوند.
۳. کالیبراسیون داوران: داوران باید با راهنمای معیارها و نمونههای تمرینی آشنا شوند تا برداشتهای ناهمسان کاهش یابد.
۴. ثبت استدلالها: امتیاز یا توصیهٔ نهایی باید با شواهد و استدلالهای قابلپیگیری همراه باشد.
۵. امکان بازبینی: در مواردی که پیامد ارزیابی مهم است، باید سازوکاری روشن برای بررسی خطای رویهای یا تعارض منافع وجود داشته باشد.
۶. ارزیابی دورهای ابزار: معیارها و رویهها باید با توجه به دادههای واقعی، تغییرات حوزه و پیامدهای ناخواسته بازنگری شوند.
۷. حفاظت از استقلال علمی: چارچوب نباید به ابزاری برای ترجیح مکاتب نظری خاص، تنبیه دیدگاههای نامتعارف یا پاداشدادن به نتایج مطلوب ارزیابان تبدیل شود.
تقدیر از آثار برجسته، اگر با هدف تشویق پژوهش باکیفیت طراحی شود، باید بر ارزیابی مستدل استوار باشد؛ اما با تصمیم دربارهٔ پذیرش مقاله یا سنجش کیفیت علمی یکسان نیست. داوری علمی میپرسد که آیا مقاله از نظر شواهد، روش و استدلال قابلدفاع است؛ نظام تقدیر میپرسد که کدام اثر، در میان مجموعهای از آثار واجد شرایط، شایستهٔ شناسایی ویژه است و بر چه مبنایی.
در چنین نظامی، ابتدا باید هدف تقدیر روشن شود. آیا هدف، تشویق نوآوری نظری است؟ ارتقای کیفیت روششناختی؟ تأثیرگذاری بر عمل رواندرمانی؟ یا پیشبرد شفافیت و بازتولیدپذیری؟ پاسخ به این پرسش بر انتخاب معیارها اثر میگذارد. اگر هدفها متعدد باشند، بهتر است بهجای ادغام همهٔ آنها در یک رتبهبندی واحد، دستههای تقدیر جداگانه تعریف شوند.
برای مثال، میتوان دستههایی مانند «نوآوری نظری»، «استحکام روششناختی»، «مشارکت در عمل مبتنی بر شواهد» و «شفافیت و بازتولیدپذیری» را در نظر گرفت. این دستهها صرفاً پیشنهادهایی برای طراحیاند و پیش از اجرا باید از نظر تناسب، امکان ارزیابی و پیامدهای احتمالی بررسی شوند.
استنادها میتوانند یکی از شواهد اثر علمی باشند، اما استفادهٔ انحصاری از آنها بهویژه در انتخاب آثار برجسته با چند مشکل روبهرو است: آثار قدیمیتر فرصت بیشتری برای دریافت استناد دارند؛ مقالات مروری ممکن است الگوهای استنادی متفاوتی از مطالعات تجربی داشته باشند؛ تفاوتهای رشتهای بر نرخ استناد اثر میگذارند؛ و استناد ممکن است نشاندهندهٔ نقد یا اختلاف باشد، نه تأیید.
بنابراین، اگر استنادها در فرایند تقدیر استفاده میشوند، باید نقش آنها محدود، شفاف و متناسب با هدف باشد. معیارهای محتوایی و شواهد مربوط به کیفیت باید همچنان نقش اساسی داشته باشند. چنین رویکردی با اصول ارزیابی مسئولانه و توصیههای بیانیهٔ لایدن همراستاست (DORA, 2024; Hicks et al., 2015).
نظام تقدیر ممکن است ناخواسته رفتارهای نامطلوبی ایجاد کند؛ برای مثال، تمرکز بر موضوعات پرطرفدار، ترجیح نتایج مثبت یا پرهیجان، یا افزایش توجه به شاخصهای قابلنمایش به بهای کیفیت واقعی. برای کاهش این خطرها، معیارها باید پیشاپیش اعلام شوند، داوری باید مستقل باشد، تعارض منافع مدیریت شود و دلایل انتخاب آثار تا حد امکان توضیح داده شوند.
همچنین، بهتر است از ادعاهایی مانند «بهترین مقالهٔ روانشناسی» بدون تعریف دامنه و معیارهای انتخاب پرهیز شود. عنوان دقیقتر میتواند «برگزیده در نوآوری نظری» یا «برگزیده در شفافیت روششناختی» باشد؛ زیرا روشن میکند تقدیر بر اساس کدام نوع ارزش صورت گرفته است.
از آنجا که چارچوب حاضر مفهومی است، پیش از استفاده در تصمیمهای رسمی باید بهصورت تجربی بررسی شود. برنامهٔ پیشنهادی میتواند در چند مرحله اجرا شود.
گروهی متنوع از متخصصان روانشناسی، رواندرمانی، روششناسی پژوهش و علمسنجی میتوانند معیارهای اولیه را بررسی کنند. هدف این مرحله، شناسایی ابهامها، همپوشانیها و ابعاد مغفولمانده است. توافق خبرگان باید بهعنوان یک منبع شواهد تلقی شود، نه اثبات نهایی اعتبار ابزار.
مجموعهای از مقالهها با انواع متفاوت انتخاب میشوند؛ برای مثال، پژوهش کمی، مطالعهٔ کیفی، مرور نظاممند و مقالهٔ مفهومی. چند داور مستقل، با استفاده از راهنمای یکسان، آثار را ارزیابی میکنند. نمونه باید بهاندازهای متنوع باشد که دشواریهای کاربرد معیارها در انواع مقاله آشکار شوند.
در این مرحله، میزان توافق داوران، الگوی اختلافها و حساسیت نتایج به وزندهی بررسی میشود. انتخاب شاخصهای آماری باید با نوع مقیاس و طراحی مطالعه تناسب داشته باشد. علاوه بر نتایج کمی، تحلیل کیفی دلایل اختلافها ضروری است؛ زیرا اختلاف ممکن است ناشی از ابهام معیار، تفاوت تخصص یا اختلاف نظری مشروع باشد.
اعتبار ابزار باید با شواهد متعدد بررسی شود. از جمله میتوان ارزیابی متخصصان دربارهٔ پوشش محتوایی معیارها، بررسی ارتباط امتیازها با داوریهای مستقل و تحلیل عملکرد ابزار در انواع مقاله را در نظر گرفت. هیچ معیار بیرونی منفردی نباید بدون بررسی، معیار طلایی کیفیت تلقی شود.
پس از اجرای آزمایشی، باید بررسی شود که آیا ابزار بهطور نظاممند به زیان برخی روشها، زیرحوزهها، انواع مقاله یا دیدگاههای نظری عمل میکند. همچنین، باید پیامدهای انگیزشی نظام بررسی شوند: آیا معیارها پژوهشگران را به شفافیت و استحکام بیشتر تشویق میکنند یا آنان را به بهینهسازی رفتار برای کسب امتیاز سوق میدهند؟
تا پیش از انجام این مراحل، چارچوب باید در سطح پیشنهاد نظری باقی بماند و استفاده از آن برای تصمیمهای پرمخاطره، مانند ارتقای دانشگاهی یا تخصیص منابع، با احتیاط صورت گیرد.
چارچوب پیشنهادی بر این اصل استوار است که ارزیابی پژوهش یک مسئلهٔ تکبعدی نیست. جایگاه نشریه، اثر استنادی، کیفیت علمی و اثر علمی ـ حرفهای هر یک اطلاعاتی متفاوت فراهم میکنند. خطای اصلی نه استفاده از شاخصهای کمی، بلکه تعمیم بیشازحد معنای آنها و استفاده از یک سنجه برای پاسخگویی به پرسشی است که آن سنجه برای آن طراحی نشده است.
نخست، جایگاه نشریه میتواند زمینهای برای شناخت محیط انتشار فراهم کند، اما از کیفیت هر مقاله خبر قطعی نمیدهد. دوم، استنادها میتوانند بخشی از الگوی توجه علمی را نشان دهند، اما معنای آنها باید در بستر رشته، زمان و نوع مقاله تفسیر شود. سوم، کیفیت علمی نیازمند داوری دربارهٔ شواهد، روش، استدلال و تناسب نتیجهگیری است. چهارم، اثر حرفهای باید با شواهد مربوط به کاربرد و پیامدهای پژوهش بررسی شود و نباید از محبوبیت یا انتشار گسترده استنتاج شود.
در روانشناسی و رواندرمانی، این تمایزها اهمیت عملی دارند. پژوهشهای مربوط به مداخلات روانشناختی ممکن است پیامدهایی برای سلامت و تصمیمهای بالینی داشته باشند؛ ازاینرو، ارزیابی نباید صرفاً بر جذابیت موضوع یا انتشار در نشریهای معتبر تکیه کند. اعتبار اندازهگیری، تناسب طراحی، شفافیت گزارش، محدودیتهای تعمیم و ملاحظات ایمنی باید در داوری علمی دیده شوند. در مقابل، مقالههای نظری و مفهومی نباید به دلیل نداشتن دادهٔ تجربی مستقیم با معیارهای نامتناسب سنجیده شوند؛ بلکه باید بر اساس کیفیت استدلال و ارزش تبیینی ارزیابی شوند.
چارچوب پیشنهادی همچنین نشان میدهد که نظام تقدیر از آثار برجسته باید از نظام داوری علمی متمایز باشد. اگر هدف تقدیر روشن نباشد، انتخاب برندگان ممکن است به ترکیبی نامنسجم از استناد، شهرت نشریه، محبوبیت موضوع و قضاوت شخصی تبدیل شود. تفکیک دستههای تقدیر و اعلام معیارهای آنها میتواند شفافیت را افزایش دهد؛ بااینحال، اثربخشی این راهکار نیز نیازمند بررسی تجربی است.
از نظر نظری، ارزش اصلی چارچوب در ایجاد یک نقشهٔ مفهومی برای تعیین نوع پرسش و شواهد متناسب با آن است. بهجای تقلیل کیفیت به یک عدد، چارچوب از ارزیاب میخواهد ابتدا مشخص کند که چه چیزی را میسنجد و سپس محدودیتهای استنتاج خود را بیان کند. این رویکرد میتواند به توسعهٔ زبان مشترک میان پژوهشگران، داوران، سردبیران و نهادهای ارزیابی کمک کند.
در سطح اجرایی، چارچوب میتواند مبنای اولیهای برای تدوین راهنمای داوری، فرمهای ارزیابی، آموزش داوران و طراحی برنامههای تقدیر علمی باشد. بااینحال، تبدیل آن به ابزار اجرایی مستلزم تعریف عملیاتی معیارها، آزمون اولیه، بررسی پایایی و اعتبار و ارزیابی پیامدهای ناخواسته است. استفاده از چارچوب بدون این مراحل ممکن است فقط ظاهر فرایند را نظاممند کند، بیآنکه کیفیت تصمیمها را بهبود دهد.
این مقاله یک چارچوب مفهومی پیشنهاد میکند و دادهٔ تجربی برای اثبات برتری آن بر نظامهای موجود ارائه نمیدهد. همچنین، تحلیل حاضر مرور نظاممند یا مرور دامنهای جامع نیست؛ بنابراین، نمیتوان از آن نتیجه گرفت که همهٔ چارچوبهای رقیب شناسایی و مقایسه شدهاند. معیارهای پیشنهادی نیز هنوز در مطالعهای مستقل از نظر پایایی، اعتبار، انصاف و پیامدهای اجرایی آزمون نشدهاند.
ازاینرو، ادعای نوآوری مقاله باید محتاطانه باقی بماند. ارزش نظری چارچوب در صورتبندی و یکپارچهسازی پیشنهادی آن است؛ اما میزان تفاوت آن با چارچوبهای موجود باید در پژوهشی مبتنی بر جستوجوی جامع ادبیات مشخص شود.
ارزیابی مسئولانهٔ پژوهش مستلزم تمایز میان جایگاه نشریه، اثر استنادی، کیفیت علمی مقاله و اثر علمی ـ حرفهای است. هیچیک از این ابعاد بهتنهایی نمیتواند تمام ارزش یک اثر را بازنمایی کند. چارک نشریه اطلاعاتی دربارهٔ جایگاه نسبی آن در یک نظام رتبهبندی ارائه میدهد؛ استنادها بخشی از الگوی توجه علمی را نشان میدهند؛ داوری محتوایی به استحکام روش و استدلال میپردازد؛ و ارزیابی اثر حرفهای، شواهد مربوط به کاربرد و پیامدهای پژوهش را بررسی میکند.
چارچوب پیشنهادی مقاله این چهار سطح را از یکدیگر متمایز میکند و سپس آنها را در فرایندی شفاف و زمینهمند به هم پیوند میدهد. در این چارچوب، معیارهای داوری باید با نوع مقاله تناسب داشته باشند، استدلالهای ارزیاب قابلپیگیری باشند، تعارض منافع مدیریت شود و هر ابزار امتیازدهی پیش از کاربرد رسمی از نظر پایایی، اعتبار و پیامدهای ناخواسته بررسی شود. شناسایی آثار برجسته نیز باید تصمیمی جداگانه، هدفمند و مبتنی بر معیارهای آشکار باشد.
اصل راهنمای این رویکرد را میتوان چنین صورتبندی کرد: جایگاه نشریه دربارهٔ محیط انتشار اطلاعات میدهد؛ استنادها دربارهٔ توجه علمی؛ داوری محتوایی دربارهٔ کیفیت شواهد و استدلال؛ و شواهد کاربردی دربارهٔ پیامدهای پژوهش. ارزیابی معتبر زمانی شکل میگیرد که هیچیک از این سطوح بهجای دیگری ننشیند.
Committee on Publication Ethics. (2017; updated guidance 2019). Ethical guidelines for peer reviewers. COPE. https://doi.org/10.24318/2019.1.4
DORA. (2024). Guidance on the responsible use of quantitative indicators in research assessment. San Francisco Declaration on Research Assessment. https://sfdora.org/resource/guidance-on-the-responsible-use-of-quantitative-indicators-in-research-assessment/
Hicks, D., Wouters, P., Waltman, L., de Rijcke, S., & Rafols, I. (2015). Bibliometrics: The Leiden Manifesto for research metrics. Nature, 520, 429–431. https://doi.org/10.1038/520429a
American Psychological Association. (n.d.). APA Style Journal Article Reporting Standards (JARS). https://www.apa.org/pubs/journals/resources/open-science
Page, M. J., McKenzie, J. E., Bossuyt, P. M., Boutron, I., Hoffmann, T. C., Mulrow, C. D., et al. (2021). The PRISMA 2020 statement: An updated guideline for reporting systematic reviews. BMJ, 372, n71. https://doi.org/10.1136/bmj.n71
Clarivate. (n.d.). Journal Citation Reports: Glossary. https://journalcitationreports.zendesk.com/hc/en-gb/articles/28351666061457-Glossary
Elsevier. (2024). What is SCImago Journal Rank (SJR)? Scopus Support Center. https://www.elsevier.support/scopus/answer/what-is-scimago-journal-rank
San Francisco Declaration on Research Assessment. (2012). Read the declaration. https://sfdora.org/read/
این متن یک نسخهٔ کامل اولیه از مقالهٔ مفهومی است، نه نسخهای که آمادهٔ ارسال قطعی به یک مجلهٔ Q1 باشد. پیش از ارسال، لازم است مرور ادبیات جامعتر شود، منابع اولیه و فرادادهٔ کتابشناختی آنها بازبینی شوند، چارچوب با مدلهای موجود مقایسه شود و سهم نظریِ متمایز آن با دقت بیشتری صورتبندی گردد.