知識平台文章摘要

A guide to effective impact assessment

分享人:張凱柔、程芝榆

提交日期:10/08/2021

資訊來源:AVPN

文章摘要分類

分享文章

一、前言:「影響力」與「影響力評估」
1. 為什麼要評估影響力?
以創造正向社會及環境影響力做為初衷的使命型組織或影響力投資人,需要評估影響力成效以校準經營策略,並主動向
利害關係人(涵蓋服務受益人、員工、消費者、投資人、供應商等)溝通。
2. 什麼是影響力(Impact)?
影響力(Impact)指的是「組織活動所創造的廣泛與長期結果」。影響力也可被定義為「產出(output)」與「改變(outcome)」的總和(無論好壞),並透過評估來界定。換句話說,影響力是你希望創造或已經創造的改變。
3. 什麼是影響力評估(Impact assessment)?
 影響力衡量(Impact measurement):需要一套方法來同時衡量產出(output)與改變(outcome)。
 影響力監測(Impact monitoring):系統性地蒐集和紀錄關於計畫進程或是能夠協助衡量計畫成效的資訊。
 影響力評估(Impact evaluation):由影響力監測所蒐集的資訊,來衡量一個組織的表現;應用範疇包括決策制
定與專案優化。方法是系統性地提出關鍵問題、蒐集合適資訊,並針對特定目的進行分析與詮釋。

二、起點:「改變理論」與「邏輯模型」
1. 為什麼需要改變理論(change theory)和邏輯模型(logic model)?
影響力的界定、計算,有別於過往對盈餘的處理上這麼直觀,它會因著不同議題下有著不同的觀點、指標、測量方法,甚至是需要主觀判斷的過程。而這也是影響力投資人在效益分析上一直有很多挑戰的原因。進行效益分析時,我們需要選擇影響力評估的方法,並挑選適合的衡量指標;然而,在此之前,我們也需要對於「影響力的定義與生成過程」有更全盤的了解,改變理論和邏輯模型即是最廣受應用的概念。
2. 什麼是「邏輯模型」?
(1) 簡介:描述一系列可帶來改變的活動,以及這些活動如何與專案/計畫的預期成果相關。
建議組織在擬定模型時,由右至左、以終為始地從最終希望造的影響力,回推至中長期改變、短期產出,以及前期的行動(activities)與投入(input)。

(2) 適用對象:商業或營運模式較穩定的組織,因為他們對於預期的產出與改變有較清楚的理解。

3. 什麼是「改變理論」?

(1) 簡介:與邏輯模型最大的差異是改變理論進一步刻劃出各個環節的關聯性。改變理論描繪的是「改變」在什麼特定 情境下發生、為何發生及如何發生,用以釐清一項行動或一個計劃如何達成其預期目標。在改變理論中,我們首先 辨識長程的願景目標(Impact);接著,依據因果關係及相關性,回推中期須達到什麼成果(Outcome),才能促使長 程的願景發生。而後,我們會回過頭來思考組織的營運活動(Activities)及其產出(Output),如何在時間的累積下轉 化為成果,以及需要多少投入(Input)。如此一來,我們繪製出一個連結組織前期投入(input)與活動(Activities)、 短期產出(Output)、中期成果(Outcome)與長程願景目標(Impact)的「經營邏輯」,並從中挑選「管理指標」, 進而使組織的計畫被更完善的設計、更有效的溝通,也更精準地累計成效。

(2) 適用對象:即便是新創、商業模式尚處於發展階段的評估對象,也可以使用。

 

三、擬定「影響力評估計畫」所需考慮的面向

設計完改變理論或邏輯模型後,下一個疑問便是「如何擬定影響力評估計畫」。需要考量的問題包括要投入多少時間?量化 或質化的評估方式何者較佳?如何挑選評估架構?是否愈複雜愈好?貢獻(contribute)、歸因(attribution)與外加性 (additionality)如何辨識及衡量?如何使其評估結果具有可比性?評估後如何解讀成果? 1. 釐清時間與頻率:AVPN 的建議如下。

2. 設定影響力評估的範疇與規模:影響力追蹤數據需達到統計學上穩健性(robustness),較成熟、具規模的企業或組 織方適合使用穩健性較高的模式(例如隨機對照實驗 Randomized Control Trials),若評估對象仍處於發展初期則較 適合使用改變理論。

3. 研析影響力衡量方法:常見問題如下。 

  • 我應該選擇量化或質化的衡量方法? 
    量化指標: 以絕對的、客觀的數字測量成果或目標的達成程度。 
    質化指標:挖掘成果背後的原因,以描述性的、相對的與較主觀的方式呈現議題更深入的面向。 
    推薦兩者並用的原因:量化數據可以衡量規模、時間區間與進展,但也需要質化的(因果)關係與影響力描 述。 
  • 我怎麼知道哪些改變是因為計畫/專案而產生的? 
    歸因(attribution):多少改變或是哪些改變,是來自於計畫/專案的介入、資源的分配? 
    外加性(additionality):那些改變是「如果沒有你」就不會發生的? 
  • 我該使用標準化評估架構,或是依照我組織的狀況自行設計?
    大多數影響力投資人會從標準化的架構著手,原因是他們已經被多方廣泛應用、經過初步驗證。如果影響力投資人 所涉足的產業、議題是較少見的,也可以自行開發評估架構;但可能會失去影響力的可比性。 
  • 為什麼影響力評估之間的「可比性」是重要的? 
    從投資者管理影響力的角度來看,他們需要衡量投資組合的成效,以及單一投資標的之影響力是否持續成長。
    從資源分配的角度來看,資金挹注者(捐款者、天使投資人等)可能會詢問不同投資組合及不同標的之間的影 響力表現,來決定挹注對象。

四、影響力評估架構與指標 前述內容已協助投資人釐清影響力評估目的與架構,

本段落則將說明投資人應如何設定符合自身需求的影響力評估指標。

1. 從標準化的資料庫中挑選合適的衡量指標。

2. 因應評估標的的狀況,制定客製化的衡量指標:客製化指標的設定將能提升追蹤過程的自主性與彈性,同時也能提升不 同利害關係人的參與。此外,指標衡量的成果也將更接近個別投資人與被投資對象所需。

五、如何將影響力評估落地執行?

1. 如何說服被投資/贊助單位進行影響力評估: 

原則規範:在投資條件設定時便明定被投資對象有進行影響力評估或提供相關追蹤數據的義務,以清楚建立雙方對 影響力管理的期待與理解。 

資金綁定:為被投資對象設定明確的社會目標做為增加投資資金的門檻,即被投資對象若希望持續獲得資金就需要 追蹤與分析影響力成果。 

定期追蹤:於每季定期追蹤資料時同時要求被投資對象提供財務與影響力數據,使投資人能定期了解被投資對象之 成效。

2. 影響力評估資料蒐集的落地性 v.s.真實性:資料蒐集的架構有許多種類,使用上經常依據可行性與統計資料的穩健性 (robustness of the data)進行挑選;其中,後者則受到樣本數多寡與比較的周延程度影響,這兩者愈高則需投入之 資源也愈多。 

統計穩健性較高(左側):此類衡量方式包含 Social Return on Investment (SROI)、Impact Radar 等指標。就 使用目的而言,這些衡量方式主要是希望透過不同情境的假設與比較,呈現出影響力。因此,在實際使用上即需要 許多量化的假設與計算。 

統計穩健性較低(右側):此類衡量方式包含 IRIS/IRIS+、B Lab 及 Progress out of Poverty Index (PPI)等指 標。就使用目的而言,這些追蹤方式以關注受益人受到的影響為主軸,並非講求樣本的普遍性。而實際使用上,此 類方式亦因樣本數較少、對象較明確,因此操作門檻較低、也較廣為採用。