1- مقدمه

موفقیت اقتصادی شرکت‌های تولیدی، وابسته به توانائی آنها در شناسایی نیاز مشتریان و ساخت محصولاتی برای برطرف‌کردن این نیازهاست. امروزه به‌علت شدت رقابت، ماهیت پویای بازار، منسوخ‌شدن فناوری‌ها و تغییر نیاز و سلیقۀ مشتریان، محصولات موجود در بازار پاسخگوی نیاز مشتری نیست و مؤثرترین راه‌حل برای کسب موفقیت سازمان‌ها تمایز ازطریق توسعۀ محصولات جدید است که بتواند در زمانی کوتاه، کیفیتی بالا و هزینۀ کم، نیازهای بازار را به‌گونه‌ای کارا و اثربخش برآورده کند؛ از این رو توسعۀ محصول جدید از دغدغه‌های شرکت‌ها برای حفظ و ارتقای جایگاه خود در بازار رقابتی به شمار می‌رود و به‌عنوان یک عامل کلیدی در شکوفایی آنها شناخته می‌شود (لم و همکاران[i]، 2007). علاوه بر این، امروزه افزایش و پیچیدگی نیاز مشتریان سبب تنوع محصولات موجود در بازار شده است. به همین سبب شرکت‌ها برای جلب رضایت مشتری و تقویت رقابت‌پذیری خود سعی دارند تا تنوع بیشتری را به بازارها ارائه دهند. گسترش مدل‌های مختلف محصولات، به مشتریان اجازه می‌دهد تا محصولی را بیابند که کاملاً متناسب با نیازهای فردی آنهاست؛ بنابراین شرکت‌ها برای حفظ سهم خود در بازار، تنوع محصولات تولیدی‌شان را نیز افزایش می‌دهند که به‌دنبال آن، محصولات جدید و متنوع زیادی در بازار عرضه می‌شود و این روند است که یک شرکت را ملزم می‌کند تا محصولات جدید خود را با سرعت بیشتری معرفی و روانۀ بازار کند؛ زیرا در غیر این صورت، سهم بازار محصولات جدید را به شرکت‌های رقیب واگذار می‌کند و خود از دنیای رقابت کنار می‌رود (گول و شفین[ii]، 2008)؛ بنابراین باید طرحی تولید شود که علاوه بر داشتن معیارهای ارزیابی عمومی، بتواند به‌سرعت جوابگوی نیازهای آیندۀ مشتریان نیز باشد. علی‌رغم اهمیت زیاد طرح‌های توسعۀ محصول جدید، درصد زیادی از این پروژه‌های توسعه با شکست مواجه می‌شوند. تحلیلی که انجمن مدیریت و توسعۀ محصول انجام داده است، نشان می‌دهد نرخ شکست پروژه‌های توسعۀ محصول جدید 41درصد است که خود نشان‌دهندۀ ریسک زیاد این نوع پروژه‌هاست. حال در این میان، شرکتی موفق است که فرایند توسعۀ محصول جدید خود را به‌طور دقیق به اتمام رساند (قاسمی و همکاران[iii]، 2019). هدف پژوهش حاضر، یافتن معیارهای جامع و کامل برای ارزیابی طرح‌های توسعۀ محصول جدید و ارائۀ مدل ریاضی اثربخش برای ارزیابی است تا به کمک آنها بتوان در مراحل اولیۀ طراحی محصول جدید، این طرح‌ها را ارزیابی و بهترین طرح توسعۀ محصول را انتخاب کرد. نظر به اینکه برخی از معیارهای مربوط به ارزیابی این طرح‌ها با یکدیگر در تناقض‌اند، توسعۀ مدل جامعی که بتواند تمامی این معیارها را با هم بررسی کند، از اهمیت ویژگی برخوردار و کارگشای تولیدکنندگان محصولات جدید است.

2- مبانی نظری پژوهش

توسعۀ محصول، ایجاد محصولاتی با ویژگی‌های جدید و متفاوت است که مزایای خاص، نو و یا مضاعف را به مشتری ارائه می‌دهد. توسعۀ محصول می‌تواند به‌صورت اصلاح محصولات موجود در بازار و یا ارائۀ یک محصول کاملاً نوآورانه باشد که می‌تواند نیاز مشتریان جدید و بازار را برآورده کند (یولمان[iv]، 2009).

کارت امتیازی متوازن که ارزیابی عملکرد را به چهار منظر تقسیم می‌کند، به ارزیابی عملکرد از چهار منظر نگاه می‌کند. چهار منظر ارزیابی متوازن شامل دستۀ تقریباً وسیعی از معیارها و سنجه‌هاست که در قالب گروه‌های عملکردی گسترده‌ای طبقه‌بندی شده‌اند. دسته‌بندی زیرمجموعه‌های سنجه‌های ارزیابی متوازن به‌عنوان قسمتی از این گروه‌های عملکردی متفاوت، جنبۀ بسیار مهمی از طراحی سیستم ارزیابی متوازن برای اجراست. ارزیابی متوازن، هدف اصلی و استراتژی شرکت را به اهداف و معیارهای سازمان‌یافته در چهار منظر مالی[v]، مشتری[vi]، فرآیند داخلی کسب و کار[vii] و فراگیری رشد و یادگیری[viii] تبدیل می‌کند (مهدشکری  و رملی[ix]، 2015).

رویکرد تنوع‌پذیری مجموعه‌ای از روش‌های ساختاری است که به تیم طراحی کمک می‌کند تا تأثیر تنوع را بر هزینه‌های چرخۀ عمر محصول کاهش دهد (گاپتا و اکدان[x]، 2008). هدف این رویکرد، طراحی نوعی معماری است که برای تطبیق با تغییرات آتی، مستلزم حداقل تلاش مجدد است (مارک و ایشی[xi] ، 2002). داشتن این معماری می‌تواند پتانسیل سودآوری محصول را افزایش دهد؛ همین‌طور طراحی فعلی محصول را با نگاهی به آیندۀ محصول انجام و هزینه‌های توسعه‌ای را کاهش می‌دهد. از طرفی داشتن چنین معماری سبب می‌شود که با ایجاد تغییرات جزئی بتوان نیازهای بازارهای آینده را محقق کرد. یک امتیاز رقابتی برای هر شرکت، ارائۀ سریع محصولات به بازار است. یک روش مؤثر برای کسب این امتیاز، طراحی تنوع‌پذیر و داشتن معماری مناسب است.

الابانجی و امپوفا[xii] (2020) توانستند با تکنیک ترکیبی AHP فازی و میانگین وزنی فازی با تعیین 6 معیار اصلی، 4 گزینۀ موجود طراحی را برای محصول جدیدی از فیکسچر را رتبه‌بندی کنند. در این مقاله ابتدا نیاز مشتریان شناسایی و اهداف ارزیابی مشخص شده است و سپس به کمک تکنیک ارزیابی طرح، طرح‌ها رتبه‌بندی و طرح بهینه انتخاب شده است. در ادامه نیز با تست طرح منتخب، برنامه‌ریزی در زمینۀ ساخت و تحلیل‌های اقتصادی، طرح اولیه ساخته می‌شود. آیخوئلا[xiii] در سال 2017 با تکنیک جدید TOPSIS اصلاح‌شدۀ فازی شهودی با مقادیر بازه‌ای و 3 معیار ظاهر، اقتصادی و عملکرد توانست 4 گزینۀ موجود را برای طراحی کشتی ارزیابی و همین‌طور با در نظر گرفتن 12معیار و 4 گزینه، طرح‌های بردهای جریان چاپی را رتبه‌بندی کند. هاشمی مجومرد و کسایی[xiv] (2016) توانستند به کمک نظرسنجی و مطالعات کتابخانه‌ای، 32 معیار ارزیابی پروژه‌های توسعۀ محصول جدید را در حوزۀ محصولات یکبار مصرف بهداشتی استخراج و سپس به کمک روش DEMATEL میزان تأثیرگذاری، تأثیرپذیری و وزن معیار‌ها را براساس همبستگی میان آنها محاسبه و سپس با ارزیابی پروژه‌های توسعۀ محصول جدید توسط روش VIKOR آنها را رتبه‌بندی کنند. عباسی و همکارانش[xv] (2020) مدل‌سازی ریاضی چندهدفه‌ای را ارائه دادند که می‌توان به کمک آن، سبد پروژه‌های توسعۀ محصول جدید را ارزیابی کرد. در این مقاله معیارهای ارزیابی به کمک روش کارت امتیازی متوازن به دست آمده است و توابع هدف شامل ماکزیمم‌کردن خروجی، مینیمم‌کردن ریسک و ماکزیمم‌کردن مزیت‌های استراتژیک است.

آذر و همکاران[xvi] (2015) به کمک یک مدل بهینه‌سازی چندهدفه ﺑﺎ ﺳﻪ ﺗﺎﺑﻊ ﻫﺪف ﺷﺎﻣﻞ ﺣﺪاﻗﻞﺷﺪن رﯾﺴﮏ، ﺣﺪاﮐﺜﺮﺷﺪن اﺛﺮﺑﺨﺸﯽ و ﺣﺪاﻗﻞﺷﺪن ﻫﺰﯾﻨﻪ، گزینه‌های موجود را ارزیابی کردند. وﯾﮋﮔـﯽ ﻣﻬـﻢ ﻣـﺪل ارائـه‌ﺷـﺪه، در ﻧﻈـﺮ ﮔـﺮﻓﺘﻦ رﯾﺴﮏ‌ﻫﺎی ﻣﺮﺗﺒﻂ ﺑﺎ ﻣﺘﻐﯿﺮﻫﺎی پیوستۀ ﻃﺮاﺣﯽ و ﻧﯿﺰ اﺛﺮ ﻣﺘﻘﺎﺑﻞ آنها ﺑﺮ ﯾﮑﺪﯾﮕﺮ اﺳﺖ.

3- روش‌شناسی پژوهش

پژوهش حاضر در یکی از زیرشاخه‌های صنایع الکترونیک ایران و در فاز انتخاب طرح توسعۀ محصول رادار آرایۀ فازی انجام شده است. این تحقیق شامل دو فاز اصلی و 3 گام است. در فاز اول ابتدا شناسایی معیارهای ارزیابی طرح‌های توسعۀ محصول انجام می‌گیرد. در گام اول این فاز، معیارهای عمومی و تنوع‌پذیری ارزیابی طرح‌ها شناسایی و در گام بعد، به کمک تحقیقات دیگر پژوهشگران، مقادیر کمی هریک از معیارها تعیین می‌شود. در فاز دوم این پژوهش، مدل ریاضی چندهدفه برای انتخاب طرح توسعۀ محصول برتر ارائه می‌شود. در این فاز متغیرهای تصمیم، محدودیت‌ها و اهداف چندگانۀ مدل ریاضی تعریف خواهند شد.

3-1- شناسایی معیارهای عمومی و تنوع‌پذیری ارزیابی

موفقیت در انتخاب بهترین طرح توسعۀ محصول، وابسته به معیارهای مناسبی است که برای ارزیابی طرح‌ها از آن استفاده می‌شود. در پژوهش حاضر معیارهای عمومی به کمک روش کارت امتیازی متوازن شناسایی شده است. به این صورت که این روش برای چهار منظر مالی، مشتری، فرایند کسب و کار داخلی و رشد و یادگیری، معیارهایی را ارائه داده است که متناسب با آن معیارها، می‌توان معیارهای ارزیابی مورد نیاز را برای طرح‌ها شخصی‌سازی و استخراج کرد. علاوه بر آن معیارهای انتخابی در تحقیقات پیشین و نظرسنجی خبرگان نیز در شناسایی معیارهای عمومی بسیار کمک‌کننده بوده است. نظر به اینکه یکی از معیارهای مهم در ارزیابی طرح‌های توسعۀ محصول، ریسک موجود در هر طرح است، علاوه بر معیارهای این چهار منظر، معیار ریسک هم در نظر گرفته شده و برای آن زیرمعیارهایی نیز شناسایی شده است. یکی از جنبه‌های پراهمیت ارزیابی محصول، سنجش آن به کمک معیارهای تنوع‌پذیری است؛ زیرا این معیارها تعیین می‌کنند که برای تطبیق آن محصول با نیازهای آیندۀ مشتریان، به چه میزان زمان، هزینه و تلاش احتیاج است. در پژوهش حاضر، معیارهای تنوع‌پذیری با استفاده از تحقیقات پیشین انجام‌شده در این زمینه تعیین شده است. گام بعدی پس از شناسایی معیارهای ارزیابی، اعتبارسنجی این معیارهاست. در پژوهش حاضر، اعتبارسنجی معیارها ازطریق روش لاوشه[xvii] انجام شده است. به این صورت که پرسش‌نامه‌ای برای اعتبارسنجی طراحی شده است و هریک از معیارها سنجش شده‌اند. خبرگان میزان مرتبط‌بودن معیار را با عبارات «کاملاً مرتبط»، «مرتبط ولی نیاز به بازبینی»، «نیاز به بازبینی اساسی» و «غیرمرتبط» مشخص کرده است و سپس تعداد خبرگانی که گزینۀ «کاملاً مرتبط» و  «مرتبط ولی نیاز به بازبینی» را انتخاب کرده‌اند، بر تعداد کل خبرگان تقسیم شده است. اگر مقدار حاصل از 7/0 کوچک‌تر بود، معیار حذف می‌شود و اگر بین 7/0 تا 79/0 بود، بازبینی انجام می‌شود و اگر از 79/0 بزرگ‌تر بود، معیار به‌عنوان معیار ارزیابی طرح‌های توسعۀ محصول پذیرفته شده است. معیارهای معتبر شناسایی‌شده برای هریک از مناظر در جدول1 موجود است.

جدول1 - معیارهای ارزیابی شناسایی‌شده

Table1- Identified evaluation criteria

4- فاز دوم پژوهش

4-1- تعریف متغیرهای تصمیم، محدودیت‌ها و اهداف چندگانۀ مدل ریاضی

اندیس‌های مدل

i: شمارندۀ طرح‌ها (

j: شمارندۀ ریسک‌های هر طرح

پارامترهای مدل

:  اهمیت معیار اثر ریسک بر زمان در صورت انتخاب طرح i ام

:  اهمیت معیار اثر ریسک بر هزینه، در صورت انتخاب طرح i ام

:  اهمیت معیار اثر ریسک بر کیفیت در صورت انتخاب طرح i ام

 :اهمیت معیار اثر ریسک بر عملکرد در صورت انتخاب طرح i ام

:  میزان اثرگذاری ریسک j بر زمان پروژه در صورت انتخاب طرح i ام

:  میزان اثرگذاری ریسک j بر هزینۀ پروژه در صورت انتخاب طرح i ام

:  میزان اثرگذاری ریسک j بر کیفیت پروژه در صورت انتخاب طرح i ام

:  میزان اثرگذاری ریسک j بر عملکرد پروژه در صورت انتخاب طرح i ام

:  احتمال وقوع ریسک j ام در صورت انتخاب طرح i ام

:  مجموع تأثیر دیگر ریسک‌ها بر احتمال وقوع ریسک j ام در صورت انتخاب طرح i ام

:  هزینۀ کل به‌ازای هر محصول در صورت انتخاب طرح i ام

:  سود حاصل از فروش هر محصول در صورت انتخاب طرح i ام

:  درصد اعتماد به تخمین میزان سود حاصل از هر محصول در صورت انتخاب طرح i ام

:  درصد اعتماد به تخمین تعداد فروش هر محصول در صورت انتخاب i ام

:  تعداد فروش محصول در صورت انتخاب طرح i ام

 : میزان حمایت دولت در صورت انتخاب طرح i ام

:  بودجۀ نهایی

  : درصد اعتماد به تخمین هزینۀ کل در صورت انتخاب طرح i ام

:  میزان صرفه‌جویی هزینه‌ای به‌دلیل وجود هم‌افزایی بین طرح i و دیگر محصولات سازمان

:  هزینۀ فرصت در صورت انتخاب طرح i ام

:  درصد اعتماد به تخمین هزینۀ فرصت در صورت انتخاب طرح i ام

:  میزان اثربخشی الزامات غیرکارکردی برآورده‌شده در صورت انتخاب طرح i ام

 :مقدار تغییرات مورد نیاز طرح در صورت انتخاب طرح i ام

 مجموع تعداد اجزای در اولویت استانداردسازی در صورت انتخاب طرح i ام

:  حد مجاز تعداد اجزای در اولویت استانداردسازی

:  مقدار شاخص اشتراکات در صورت انتخاب طرح i ام

:  حد مجاز شاخص اشتراکات در صورت انتخاب طرح i ام

: میزان توانایی کارکنان سازمان

: میزان لازم از توانایی کارکنان در صورت انتخاب طرح i ام

:  سهم بازار محصول در صورت انتخاب طرح i ام

: توانایی تأمین‌کنندگان مربوط به طرح i ام

: توانایی سازمان در انتقال فناوری مربوط به طرح i ام

:  وضعیت سازمان ازنظر بلوک دانشی در صورت انتخاب طرح i ام

:  حداقل میزان اثربخشی الزامات کارکردی مدنظر سازمان برای محصول که باید برآورده شود.

: میزان اثربخشی الزامات کارکردی در صورت انتخاب طرح i ام

متغیر مدل

:  برابر با یک اگر طرح i انتخاب شود، برابر با صفر اگر طرح i انتخاب نشود.

توابع هدف

حداقل‌شدن ریسک طرح توسعۀ محصول

حداکثرشدن درآمد حاصل از طرح توسعۀ محصول

حداکثرشدن توانایی استراتژیکی سازمان

حداقل‌شدن تلاش برای طراحی مجدد طرح توسعۀ محصول

محدودیت‌های مدل

اولین تابع هدف مدل، رابطۀ 1، به‌منظور حداقل‌شدن ریسک طرح منتخب تشکیل شده است. این تابع هدف، شاخص اولیۀ ریسک،PIR[xxvi] است که بر مبنای احتمال وقوع ریسک و میزان اثرگذاری ریسک بر اهداف پروژه، شامل هزینه، زمان، کیفیت و عملکرد بر مبنای استاندارد PMBOK (پیکرۀ دانش مدیریت پروژه) تعریف شده است. ، ،  و  به ترتیب میزان اثرگذاری ریسک  j بر زمان، هزینه، کیفیت و عملکرد پروژه و ، ،  و  وزن اهمیت معیار اثر ریسک به ترتیب بر زمان، هزینه، کیفیت و عملکرد پروژه است؛ به‌گونه‌ای که مجموع این اوزان برابر یک است. به‌علت در نظر گرفتن اثر متقابل ریسک‌ها بر هم، احتمال وقوع هر ریسک با مقدار افزایش احتمال آن ریسک به‌علت اثر متقابل دیگر ریسک‌ها، جمع می‌شود.

دومین تابع هدف مدل، رابطۀ 2، به‌منظور حداکثرشدن درآمد حاصل از طرح منتخب ایجاد شده است. در قسمت اول تابع مذکور، ابتدا درآمد حاصل از طرح i محاسبه می‌شود؛ به این صورت که درآمد تخمین زده شده از هر طرح i در میزان تخمینی فروش طرح iام ضرب می‌شود. به علت اینکه میزان تخمینی درآمد و تعداد فروش ممکن است دقیق و قابل اعتماد نباشد، می‌توان آنها را در میزان اعتماد به عدد تخمینی ضرب کرد. پس از محاسبۀ درآمد حاصل از طرح‌ها، باید مقدار درآمد را از هزینه کم کنیم که در تابع هدف مذکور، هزینه‌ها شامل هزینۀ کل و هزینۀ فرصت از دست رفته است. در ادامه، صرفه‌جویی‌های هزینه‌ای که به‌علت حمایت دولت و وجود هم‌افزایی ایجاد می‌شود، از هزینه‌ها کم می‌شود.

سومین تابع هدف، رابطۀ 3، به‌منظور افزایش توانایی استراتژیکی سازمان تشکیل شده است. پارامترهای این تابع هدف، سهم بازار، توانایی تأمین‌کننده، توانایی در انتقال فناوری مدنظر، بلوک‌های دانشی و توانایی کارکنان است. به علت اینکه برای افزایش توانایی استراتژیکی سازمان باید پنج متغیر سهم بازار، توانایی تأمین‌کننده، توانایی در انتقال فناوری و امتیاز بلوک‌های دانشی افزایش یابند، این مقادیر با هم جمع می‌شوند. به دلیل اینکه مقادیر هریک از این پارامترها در یک محدوده نیستند، همان‌طور که در تابع نیز مشاهده‌شدنی است، هریک از این پارامترها نرمال شده‌اند تا مقادیر آنها عددی بین 0 تا 1 باشد.

چهارمین تابع هدف، رابطۀ 4، به‌منظور کاهش طراحی مجدد لازم برای هر طرح تعریف شده است که در راستای برآوردن اهداف رویکرد تنوع‌پذیری است. پارامترهای به کار رفته در این تابع هدف، شامل امتیاز کسب‌شدۀ هر طرح از اجزای نیازمند استانداردسازی و شاخص اشتراکات است. این تابع نشان می‌دهد که هر طرح تا چه میزان احتیاج به تغییر اجزا و استانداردسازی برای برآوردن نیازهای آیندۀ مشتری دارد، از طرفی اگر تیم طراحی قادر به استانداردسازی اجزا نباشد و ناگریز به طراحی مجدد آن جزء در آینده باشد، پارامتر شاخص اشتراکات نشان می‌دهد این تغییر در مشخصه‌های طراحی به چه میزان است. طرح با مقدار تغییر و استانداردسازی کمتر در زمان فعلی و مقدار تغییر مشخصه‌های طراحی آیندۀ طرح بهتری است. به دلیل اینکه مقادیر هریک از این پارامترها در یک محدوده نیستند، همان‌طور که در تابع نیز مشاهده‌شدنی است، هریک از این پارامترها نرمال شده‌اند تا مقادیر آنها عددی بین 0 تا 1 باشد.

محدودیت اول این مدل، رابطۀ 5، نشان می‌دهد که مجموع متغیرهای صفر و یک  باید یک و یا کوچک‌تر از آن باشد؛ به این معنی که درنهایت یک طرح می‌تواند به‌عنوان طرح برتر انتخاب شود.

محدودیت دوم، رابطۀ 6، مربوط به الزامات کارکردی طرح‌هاست و به این معناست که اثربخشی کلی طرح i نباید از میزان اثربخشی کلی تعیین‌شده برای آن محصول کمتر باشد.

محدودیت سوم، رابطۀ 7، مربوط به الزامات غیرکارکردی است که نشان می‌دهد مقدار تابع ارزیابی الزامات غیرکارکردی طرح i نباید کمتر از حد مجاز تعیین‌شده برای آن محصول باشد. این حد مجاز، به کمک میانگین مقادیر تابع الزامات غیرکارکردی طرح‌ها به دست می‌آید؛ به این معنی که مقدار تابع الزامات غیرکارکردی طرح بهینه نباید از میانگین مقادیر تابع الزامات غیرکارکردی طرح‌ها کمتر باشد.

محدودیت چهارم، رابطۀ 8، مربوط به بودجه و هزینه‌های مالی است. این محدودیت نشان می‌دهد هزینۀ کل با کسر حمایت‌های مالی و صرفه‌جویی هم‌افزایی، نباید از بودجۀ کل تخصیص‌یافته بیشتر باشد. همان‌طور که پیش‌تر نیز گفته شد، به علت اینکه ممکن است مقدار تخمینی کاملاً دقیق نباشد، مقدار تخمینی را در میزان اعتماد به آن مقدار تخمینی ضرب می‌کنیم.

محدودیت‌های پنجم تا هشتم، رابطۀ 9 تا 12، نشان می‌دهند مقدار ریسک‌های اثرگذار بر زمان، هزینه، کیفیت و عملکرد نباید از حد مجازشان بیشتر باشند؛ برای مثال شاید مجموع تابع ریسک مقدار کمینه باشد، اما اگر ریسک‌های اثرگذار بر کیفیت از حد مجاز تعیین‌شده بیشتر باشند، آن طرح پذیرفتنی نیست. به کمک این محدودیت‌ها، فراتربودن مقدار ریسک از حدمجاز سبب حذف آن طرح می‌شود. در پژوهش حاضر، حد مجاز به کمک میانگین مقدار ریسک‌های اثرگذار همۀ طرح‌ها محاسبه می‌شود؛ برای مثال، حد مجاز ریسک‌های اثرگذار بر زمان برابر است با میانگین مقدار ریسک‌های اثرگذار بر زمان همۀ طرح‌ها.

محدودیت نهم، رابطۀ 13، نشان می‌دهد مجموع تعداد اجزای در اولویت اول، دوم و سوم استادنداردسازی هریک از طرح‌ها، نباید از حد مجاز تعیین‌شده بیشتر باشد. حد مجاز تعداد اجزایی که در اولویت استانداردسازی قرار دارند، به انتظارات تولیدکننده و توانایی صنعت بستگی دارد و متناسب با محصولات مختلف، می‌تواند متفاوت باشد.

محدودیت دهم، رابطۀ 14، نشان می‌دهد که میزان شاخص اشتراکات طرح i ام نباید از حد مجاز تعریف‌شده برای شاخص اشتراکات آن طرح باشد؛ به این معنی مقدار طراحی مجدد در نسل آینده نباید از حد مجاز تعریف‌شده بیشتر باشد. این حد مجاز توسط خبرگان طراحی محصول مدنظر تعیین شده است و برای هر طرح می‌تواند مقدار مشخصی داشته باشد.

 محدودیت یازدهم، رابطۀ 15، نیز نشان می‌دهد متغیر  تنها می‌تواند مقادیر 0 و 1 را اختیار کند.

4-یافته‌ها

در این بخش مقادیر کمی معیارهای اعتبارسنجی‌شده به کمک خبرگان دانشگاهی و صنایع و روش‌های موجود تعیین می‌شوند. اطلاعات جمعیت‌شناختی خبرگان در جدول 2 و نمودار فراوانی آنها در شکل1 آمده است. پس از محاسبۀ مقادیر کمی معیارهای ارزیابی طرح‌های توسعۀ رادار آرایۀ فازی، این مقادیر در مدل بهینه‌سازی چندهدفه به کار گرفته و ازنظر میزان ریسک، درآمد، استراتژی سازمانی و میزان طراحی مجدد لازم، سنجش و درنهایت با حل مدل بهینه‌سازی به کمک نرم‌افزار GAMZ win 64 25.1.12 و با روش مجموع وزنی، بهترین طرح توسعه‌ای انتخاب می‌شود.

جدول 2- اطلاعات جمعیت‌شناختی خبرگان دانشگاهی و صنعت

Table2- Demographic information of academic and industry experts

شکل1- نمودار فراوانی جمعیت از لحاظ سابقۀ کاری خبرگان دانشگاهی و صنعت

Fig 1- Population frequency chart in terms of work experience of academic and industry experts

1-4- مقادیر کمی معیارهای منظر مالی

پس از اعتبارسنجی معیارهای منظر مالی، معیارهای نهایی این حوزه به کمک خبرگان صنعت و مطالعات پیشین محاسبه شده است. مقادیر کمی معیارهای حوزه‌ی مالی، به شرح جدول 3 است:

جدول 3- مقادیر کمی معیارهای حوزه‌ی مالی

Table3: Quantitative measures of the financial criteria

2-4- مقادیر کمی معیارهای منظر مشتری

همان‌طور که پیش‌تر نیز گفته شد، معیارهای مربوط به مشتری به دو دستۀ کیفیت محصول و رضایت مشتری تقسیم می‌شوند. در این قسمت ابتدا مقادیر کمی معیارهای کیفیت محصول تعیین می‌شود. این معیارها مربوط به الزامات کارکردی محصول‌اند که برای سه طرح توسعۀ رادار آرایۀ فازی از نیاز مشتریان این محصول شناسایی شده‌اند و به روش OMOE[xxvii] کمی و برای استفاده در مدل بهینه‌سازی چندهدفه مهیا می‌شوند. پس از محاسبۀ این شاخص، اثربخشی کلی طرح 1، 59/0، طرح 2، 47/0 و طرح3، 63/0 است.

در گام بعد دستۀ معیارهای رضایت مشتری تعیین می‌شود. این معیارها درواقع الزامات غیرکارکردی‌اند که به رضایت هرچه بیشتر مشتریان منجر می‌شوند. پس از اعتبارسنجی، معیارهای نهایی مربوط به الزامات غیرکارکردی شامل دسترس‌پذیری، قابلیت اطمینان، تعمیرپذیری و ارگونومی شده است که مقادیر کمی هریک در جدول 4 آمده است.

جدول 4- مقادیر کمی معیارهای حوزۀ مشتری (رضایت مشتری)

Table4: quantitative measures of customer criteria (customer satisfaction)

.

پس از محاسبۀ یک به یک الزامات غیرکارکردی، لازم است تا به‌طور کلی طرح ازنظر الزامات غیرکارکردی ارزیابی شود. به کمک این ارزیابی تعیین می‌شود که طرح ازنظر الزامات غیرکارکردی چه جایگاهی در مقابل دیگر طرح‌ها دارد. به این منظور از تابع ارزیابی الزامات غیرکارکردی استفاده می‌شود و مقدار به دست آمده از این تابع، در مدل بهینه‌سازی چندهدفه به کار برده می‌شود (پارامسیوام و سنتیل[xxviii] ، 2009).

3-4- مقادیر کمی معیارهای منظر کسب و کار داخلی

معیارهای ارزیابی اعتبارسنجی‌شدۀ منظر کسب و کار داخلی، شامل سهم بازار و توانایی تأمین‌کنندگان است. سهم بازار عبارت است از نسبت میزان فروش یک برند در یک محصول، به فروش کلی آن محصول در بازه‌های زمانی مشخص. برای محاسبۀ سهم بازار، ابتدا باید دورۀ زمانی و میزان فروش‌ها را تعیین کرد. این دوره می‌تواند سه‌ماهه، یک‌ساله و یا چندساله باشد؛ سپس به کمک گزارش‌های مالی شرکت، میزان فروش کلی محصول مدنظر، در شرکت مورد نظر به دست آورده می‌شود. گام بعد، محاسبۀ میزان فروش کلی محصول در بازار است که به کمک سازمان‌های معتبر صنعت و تجارت و آمارهای رسمی محاسبه می‌شود. پس از محاسبۀ سهم بازار هریک از طرح‌های رادار آرایۀ فازی، این سهم برای طرح اول 90%، طرح دوم 92% و برای طرح سوم 93% است.

برای سنجش توانایی تأمین‌کنندگان، از مجموعه‌ای از معیارها استفاده می‌شود. این معیارها به پنج دستۀ کلی کیفیت، مالی، هم‌افزایی، هزینه‌ای و تولیدی تقسیم می‌شوند که هرکدام نیز دارای زیرمعیارهایی هستند. معیارهای سیستم کیفیت، آن دسته از معیارهایی هستند که می‌توانند برای ارزیابی کیفیت توسط مصرف‌کننده حائز اهمیت باشند. معیارهای سیستم مالی آن دسته از معیارهایی هستند که در بر گیرندۀ میزان ثبات مالی تأمین‌کنندگان‌اند. معیار سیستم هم‌افزایی نیز تمام عواملی را مرتبط می‌کند که ممکن است رابطۀ سود بین مشتری و تأمین‌کننده را در تمام زنجیرۀ تأمین تقویت کند. معیارهای سیستم، هزینۀ تمامی معیارهای مربوط به هزینه‌های معامله‌های تجاری را در بر می‌گیرد. آخرین دسته از معیارها، یعنی معیار سیستم تولید نیز شامل مسائل مربوط به نوآوری فنی و یا فرایندهای پشتیبانی است (آویلا و همکاران[xxix]، 2012). میزان توانایی تأمین‌کنندۀ اصلی طرح اول 79%، طرح دوم 84% و طرح سوم 75% است.

4-4- مقادیر کمی معیارهای رشد و یادگیری

معیارهای ارزیابی اعتبارسنجی‌شدۀ منظر رشد و یادگیری، دانش سازمانی، توانایی کارکنان و توانایی در انتقال فناوری است. در پژوهش حاضر، ارزیابی دانش سازمان به کمک ارزیابی بلوک‌های دانشی انجام می‌شود. برای محاسبۀ امتیاز بلوک‌های دانشی، هریک از آنها ازنظر تخصص، اعتبار، توزیع و کدسازی سنجیده و نمره‌دهی می‌شوند. بلوک‌های دانشی طرح 1 امتیاز 43، طرح 2 امتیاز 45 و طرح 3 امتیاز 42 را کسب کردند.

ارزیابی توانایی کارکنان سازمان به کمک معیارهایی انجام می‌شود که کارکنان را ازنظر جنبه‌های مختلفی می‌سنجد. این معیارها به 3 دستۀ اصلی طرز انجام کار، خصایص و ویژگی‌ها و سرپرستی تقسیم می‌شوند که برای هریک از این معیارهای اصلی، زیرمعیارهایی ذکر و وزن هریک از این معیارها و زیرمعیارها به کمک روش AHP تعیین شده است (امیرزاده و یعقوبی[xxx]، 2012). نمرۀ نهایی طرح‌ها 2،1 و 3 ازنظر کارکنان ساخت به ترتیب 94/3، 65/3 و 97/3 است.

طبق پژوهش میرحبیبی و مبلغی[xxxi] (2016)، 6 فاز انتقال فناوری شامل فاز گزینش و اکتساب، انطباق، جذب، کاربرد، بهبود و توسعه و انتشار است که هریک از این فازها، معیارهایی برای ارزیابی دارند. پس از ارزیابی طرح‌ها به کمک معیارهای فوق، نمرۀ کسب‌شده برای طرح 1، 8/10 و طرح 2/ 12 و طرح 3/ 13 است.

5-4- مقادیر کمی معیارهای ریسک

برای تعیین مقادیر کمی ریسک، ابتدا تیم تصمیم‌گیری تشکیل می‌شود و آنها ریسک فاکتورها، حالات شکست و علل و پیامد آن را شناسایی می‌کنند. ریسک‌های مربوط به توسعۀ محصول جدید به 6 دستۀ ریسک فنی، ریسک مالی، ریسک تأمین، ریسک بازار، ریسک چرخۀ عمر و ریسک سازمانی تقسیم می‌شوند که تیم تصمیم‌گیری باید ریسک فاکتورها، حالات شکست و علل و پیامد‌های مربوط به هریک از این ریسک‌ها را برای محصول مدنظر فهرست کنند. در گام بعد، تمامی ریسک فاکتورهای شناسایی‌شده با توجه به تأثیری که بر هزینه، زمان، کیفیت و عملکرد محصول می‌گذارند، دوباره دسته‌بندی می‌شوند و سپس به کمک طیف لیکرت[xxxii]، مقادیر احتمال وقوع ریسک‌ها و میزان اثرگذاری آنها بر هزینه، زمان، کیفیت و عملکرد تعیین می‌شود (صیادی و همکاران[xxxiii]، 2011).

نکته‌ای که در بحث تعیین مقادیر کمی ریسک‌ها کمتر به آن توجه می‌شود، تعاملات و آثار دیگر ریسک‌ها بر احتمال رخداد یک ریسک است. تعامل بین ریسک‌ها نشان می‌دهد که چگونه رخداد یک ریسک، احتمال وقوع ریسک دیگری را افزایش یا کاهش می‌دهد (هوانگ و همکاران[xxxiv]، 2019). در پژوهش حاضر، این نکته در نظر گرفته شده است و به کمک روش ماتریس ساختار ریسک[xxxv]، که الهام‌گرفته از ماتریس ساختار طراحی[xxxvi] است، مقدار تأثیر دیگر ریسک‌ها بر احتمال وقوع یک ریسک محاسبه می‌شود.

6-4- مقادیر کمی معیارهای تنوع‌پذیری

معیارهای ارزیابی اعتبارسنجی‌شدۀ منظر تنوع‌پذیری شامل شاخص تنوع‌پذیری، شاخص اتصالات و شاخص اشتراکات است. شاخص تنوع نسلی، شاخص میزان تغییرات مجدد مورد نیاز یک مؤلفه برای انطباق با معیارهای تنوع‌پذیری است. این شاخص تخمین می‌زند که اگر بخواهیم قطعات، مطابق با معیارهای تنوع‌پذیری باشند، چقدر باید برای طراحی مجدد تلاش کنیم. شاخص تنوع نسلی مبتنی بر عناصری است که تحت تأثیر عوامل بیرونی و کنترل‌نشدنی هستند. تغییر این محرک‌های بیرونی به مرور زمان سبب تغییر در نسل‌های بعدی قطعه خواهد شد که این تغییر با شاخص تنوع نسلی اندازه‌گیری می‌شود. درواقع مقدار این شاخص براساس برآورد تغییرات مورد نیاز در یک جزء، به‌علت محرک‌های کنترل‌نشدنی بیرونی است (مارک و ایشی، 2002).

شاخص اتصال، میزان شدت اتصال بین قطعات را در یک محصول نشان می‌دهد. هرچه رابطۀ بین قطعات قوی‌تر باشد، بیشتر احتمال دارد که تغییر یک قطعه مستلزم تغییر قطعه‌ای دیگر باشد و به این معنی است که کار برای تطابق محصول با نیازهای آینده و توسعۀ آن سخت‌تر می‌شود. شاخص اتصالات به دو شاخص CI-S و CI-R تقسیم می‌شود. شاخص بالای CI-S نشان می‌دهد که یک قطعه اطلاعات بسیاری را در اختیار دیگر قطعات قرار می‌دهد و اگر این قطعه عوض شود، احتمال بیشتری وجود دارد که به بروز تغییرات در قطعات دیگر منجر شود. شاخص بالای CI-R در یک قطعه نشان می‌دهد که با تغییر قطعات دیگر، احتمال بروز تغییر در این قطعه افزایش می‌یابد (مارک و ایشی، 2002). جدول 5 اولویت‌بندی اجزا را برای استانداردسازی نشان می‌دهد.

به کمک شاخص‌های تنوع نسلی و اتصالات می‌توان قطعات و اجزایی را شناسایی کرد که به استانداردسازی احتیاج دارند و نشان داد که با استانداردسازی کدام قطعات و اجزا، می‌توان آن طرح را نسبت‌به تغییرات آینده مقاوم کرد (مارک و ایشی، 2002). نظر به اینکه در پژوهش حاضر، نتایج این روش در مدل بهینه‌سازی استفاده می‌شود، لازم است تا برای نشان‌دادن وضعیت هریک از طرح‌ها، از یک عدد استفاده شود؛ بنابراین برای هریک از این 8 دسته، یک وزن در نظر گرفته می‌شود. وزن این دسته‌ها به‌صورت نزولی است؛ سپس تعیین می‌شود که با توجه به شاخص‌های تنوع نسلی و اتصالات هریک از اجزای طرح، آن جزء، در کدام‌یک از این دسته‌ها قرار می‌گیرد؛ به بیان دیگر چه تعداد جزء، متعلق به هریک از دسته‌هاست. در آخر با ضرب وزن هر دسته در تعداد اجزای مربوط به آن دسته، عددی حاصل می‌شود که میزان تغییرات لازم را نشان می‌دهد. بدیهی است که هرچه این عدد بیشتر باشد، نشان‌دهندۀ تلاش بیشتر برای استانداردسازی و طراحی مجدد اجزای آن طرح است؛ سپس از آن عدد در مدل بهینه‌سازی استفاده می‌شود.

همان‌طور که اشاره شد، گاهی برخی قطعات و اجزا که نیازمند استانداردسازی‌اند و در اولویت استانداردسازی قرار دارند، به‌دلیل مخارج طراحی و ساخت و نیاز به تغییرات کلی قطعات و کمبود دانش و فناوری، استاندارد نمی‌شوند. به این معنی که این قطعات و اجزا نمی‌توانند نیازهای آیندۀ مشتریان را برآورده کنند و در نسل‌های بعدی محصول، حتماً باید تغییر کنند؛ بنابراین این قطعات در نسل فعلی و نسل آینده غیرمشترک‌اند. برای بررسی این قطعات غیرمشترک، از شاخص اشتراکات استفاده می‌شود. به کمک شاخص اشتراکات، مشخص می‌شود که بین قطعات و اجزای غیرمشترک دو نسل فعلی و آینده تا چه میزان مشخصه‌های طراحی، تغییر می‌کنند. هرچه مقدار مشخصه‌های طراحی نسل آینده از نسل فعلی بالاتر و بیشتر باشد، به این معنی است که طرح، طرح بدتری است؛ زیرا در آینده، برای طراحی مجدد این اجزا و قطعات طرح تلاش بیشتری می‌شود.

جدول 5 – اولویت‌بندی اجزا برای استانداردسازی

Table5: Prioritizing components for standardization

شاخص اشتراکات بیانگر میزان مشابهت محصول جدید با محصولاتی است که سابق در سازمان تولید می‌شد. این شاخص نه‌تنها شباهت قطعات را نشان می‌دهد، به کمک آن درصد مشابهت نوع مواد، فرایندها، روش مونتاژ و روش ساخت نیز مشخص می‌شود (وانگ و وین[xxxvii]، 2019).

محققان اغلب از شاخص‌های مشترک به‌عنوان یک پروکسی برای پیش‌بینی مقدار هزینۀ فعالیت مورد نیاز برای طراحی، تولید و مونتاژ یک متغیر محصول جدید استفاده می‌کنند (مارک و ایشی، 1996؛ تونات و سیمپسون[xxxviii]، 2006). میزان بالای اشتراک بین انواع مختلف نشان می‌دهد که بخش بالایی از مؤلفه‌ها، مجدداً مورد استفاده قرار گرفته‌اند و این به آن معناست که یک شرکت می‌تواند به اقتصادهای بزرگ‌تری در مقیاس و دامنه دست یابد. با این حال، اشتراک کامل به‌دلیل نیاز به متمایزکردن انواع محصول برای ارضای نیازهای مختلف مشتری، غیرعملی است. این شاخص ،اشتراکات بین مشخصه‌های طراحی مؤلفه‌های غیرمشترک دو نسل فعلی و آیندۀ محصول را بررسی می‌کند. هرچه این مؤلفه‌ها در محصول فعلی و محصول آینده به هم نزدیک‌تر باشند، به این معنی است که سازنده در آینده به تلاش کمتری برای تولید محصول نیاز دارد و طرح ازنظر شاخص اشتراکات، طرح بهتری است (کرباسیان و همکاران[xxxix]، 2022).

5- بحث

پس از تعیین مقادیر کمی هریک از پارامترهای مدل بهینه‌سازی، مدل به کمک نرم‌افزار GAMZ win 64 25.1.12 و با روش مجموع وزنی حل شده است. وزن هریک از توابع هدف توسط خبرگان طراحی تعیین شده است. طبق نظر خبرگان، تابع هدف حداقل‌کردن طراحی مجدد مورد نیاز وزن 42/0 ، حداقل‌کردن و حداکثرکردن درآمد، 30/0، حداکثرکردن اثربخشی استراتژی سازمانی و حداقل‌کردن ریسک وزن 14/0 دارند. مقدار توابع هدف به‌ازای هریک از طرح‌های توسعۀ محصول در جدول 6 موجود است. باید توجه داشت، به‌علت اینکه مقادیر توابع هدف در یک محدوده قرار ندارند، ابتدا نرمال می‌شوند و سپس در رابطۀ 16 قرار می‌گیرند. درنهایت تابع هدف نهایی معادل رابطۀ 16 شده است. در ادامه با بررسی محدودیت‌های مدل ریاضی توسعه داده شده، می‌توان دریافت که طرح توسعۀ محصول 2 به‌علت برآورده‌نکردن محدودیت، مربوط به الزامات غیرکارکردی حذف می‌شود؛ زیرا مقدار تابع الزامات غیرکارکردی طرح 2 از میانگین مقدار توابع الزامات کارکردی هر سه طرح کمتر است. همین‌طور می‌توان دریافت که طرح توسعۀ محصول 3 نیز به‌علت فراتربودن مقادیر ریسک‌های اثرگذار بر زمان، هزینه، کیفیت و عملکرد از حد مجاز تعریف‌شده، طرح پذیرفتنی نیست و حذف می‌شود؛ بنابراین طرح توسعۀ محصول 1 به‌عنوان طرح بهینه انتخاب می‌شود.

جدول 6- مقادیر توابع هدف به‌ازای هریک از طرح‌های توسعۀ محصول

Table6: The values ​​of the objective functions for each of the product development designs

جدول 7 معیارهای به کار رفته در این ارزیابی را نشان می‌دهد. همان‌طور که از جدول 7 استنباط می‌شود، پژوهش‌های مشابه تنها دو یا چند منظر از معیارها را ارزیابی کرده‌‌اند و آن دسته از پژوهش‌هایی که طرح‌های توسعۀ محصول را ازنظر معیارهای عمومی به‌طور کامل ارزیابی کرده‌اند، تغییرات آیندۀ محصول و معیار تنوع‌پذیری را در نظر نگرفته‌اند. پژوهش حاضر با تقسیم معیارهای ارزیابی به دو دستۀ عمومی و تنوع‌پذیری، در نظر دارد که طرح‌های توسعۀ محصول را ازنظر کارایی حال حاضر محصول و نسبت‌به تغییرات آینده بسنجد.

جدول 7- معیارهای به کار رفته در پژوهش حاضر، برای ارزیابی طرح‌های توسعۀ محصول

Table7- Literature Review

پیشنهادها برای تحقیقات آینده نیز به شرح زیر است:

• در پژوهش حاضر، پارامتر زمان لحاظ نشده است. پیشنهاد می‌شود در پژوهش‌های آتی، زمان نیز در نظر گرفته شود.

• در پژوهش حاضر برای شناسایی اجزای غیرمشترک بین دو نسل فعلی و آینده، از روش محاسبۀ اولویت استانداردسازی اجزا و در نظر گرفتن توانایی فنی و مالی تولیدکننده استفاده شده است. پیشنهاد می‌شود تنها به این روش اکتفا نشود و این انتخاب با توجه به فناوری‌های احتمالی، در آینده انجام شود.
• می‌توان از مناظر دیگری برای دسته‌بندی و شناسایی معیارها استفاده کرد.
• در این مدل برای محاسبۀ قابلیت اطمینان و تعمیرپذیری طول عمر سیستم‌ها، به‌صورت نمایی و با نرخ خرابی ثابت فرض شده است. پیشنهاد می‌شود برای محاسبۀ واقع‌بینانه‌تر، از توزیع وایبال و با نرخ خرابی متغیر استفاده شود.
• می‌توان نتیجۀ ارزیابی به کمک مدل پژوهش فوق را با دیگر روش‌های موجود در پژوهش‌های دیگر مقایسه و تحلیل کرد.

6- نتیجه‌گیری

هدف از انجام این تحقیق، ارزیابی طرح توسعۀ محصول در مراحل ابتدایی طراحی محصول به کمک معیارهای شناسایی‌شده و با استفاده از ارائۀ یک مدل بهینه‌سازی و رویکرد تنوع‌پذیری بوده است. برای رسیدن به این هدف، ابتدا با مطالعۀ کتاب، مقالات و تحقیقات انجام‌شدۀ مرتبط، معیارها به دو دستۀ عمومی و تنوع‌پذیری تقسیم و زیرمعیارهای مربوط به هرکدام برای ارزیابی طرح‌ها شناسایی شدند. در ادامه یک مدل بهینه‌سازی چندهدفه طراحی شده است که به کمک آن ارزیابی طرح‌های مهندسی ازنظر معیارهای عمومی و تنوع‌پذیری انجام می‌شود.

 پژوهش حاضر تلاشی برای ارائۀ یک مدل جامع و هدفمند به‌منظور انتخاب بهترین طرح برای توسعۀ محصولات جدید و نوآورانه است. این پژوهش با ارائۀ مدل بهینه‌سازی چندهدفه در مراحل اولیۀ توسعۀ محصول جدید، طرحی را انتخاب می‌کند که بیشترین کارایی را در حال حاضر دارد و با تکیه بر معیارهای تنوع‌پذیری، می‌تواند در کمترین زمان و با کمترین تلاش و هزینه، پاسخگوی نیازهای آیندۀ مشتریان نیز باشد. هدف این تحقیق یافتن معیارهای جامع و هدفمند برای ارزیابی همه‌جانبۀ طرح‌های توسعۀ محصول و ارائۀ مدلی است که بتواند علی‌رغم وجود معیارهای متناقض، طرح‌های توسعۀ محصول را بررسی کند. انتخاب طرحی بهینه می‌تواند از افزایش هزینه‌های اصلاح محصول و تلاش برای طراحی مجدد جلوگیری کند و زمان عرضۀ محصولات جدید را به بازار کاهش دهد.

محدودیت اصلی پژوهش حاضر، نبود اطلاعات دقیق در مراحل اولیۀ توسعۀ محصول است. در این تحقیق فرض شد که اطلاعات ارائه‌شده از سوی کارشناسان و طراحان صنعت مربوطه، صحیح و واقعی است. پیشنهاد می‌شود در پژوهش‌های آتی، از داده‌های فازی استفاده شود تا نتیجه، قابلیت اطمینان بیشتری داشته باشد.

[i] Lam et al.

[ii] Gül & Shafin

[iii] Ghasemi et al.

[iv] Ullman

[v] Financial perspective

[vi] Customer perspective

[vii] Internal business process perspective

[viii] Growth and learning perspective

[ix] MohdShukri & Ramli

[x] Gapta & Okudan

[xi] Mark & Ishii

[xii] Olabanjia & Mpofua

[xiii] Aikhuelea

[xiv] Hashemi majumard & kasaee

[xv] Abbassi et al.

[xvi] Azar et al.

[xvii] Lawshe

[xviii] Wei & Chang

[xix] Oh et al.

[xx] Nooraei Baydokht et al.

[xxi] Asgharizadeh et al.

[xxii] Relich & Pawlewski

[xxiii] Li et al.

[xxiv] Nakhaeinejad & MomenShad

[xxv] Nadadur et al.

[xxvi] Primary Index Risk

[xxvii] Overall measurement of effectiveness

[xxviii] Paramasivam & Senthil

[xxix] Ávilaa et al.

[xxx] Amir zadeh & Yaghubi

[xxxi] Mir Habibi & mobaleghi

[xxxii] Likert scale

[xxxiii] Sayyadi et al.

[xxxiv] Huang et al.

[xxxv] Risk Structure Matrix (RSM)

[xxxvi] Design Structure Matrix (DSM)

[xxxvii] Wong & Wynn

[xxxviii] Thevenot & Simpson

[xxxix] Karbasian et al.