SW 프로젝트를 일반적인 정량화하려는 시도는 오류

한 페친이 프로젝트 정량화에 대한 글을 올려서 몇 가지 의견을 제시한 글들을 옮겨놓습니다.

"왜 정량화를 하려는지 목적이 무엇인가요? 또 프로젝트 결과란 무엇인가요? 프로젝트별 목표가 다르기 때문에 각 목표는 있을 수 있겠지만 sw 프로젝트 일반에 대한 정량화란 말 자체가 무엇인지 생각해보기 바랍니다. 가능한 것은 프로젝트별 목표이고 그나마 정성적인 요소들은 일반화된 기준의 수치화는 시도하는 게 무의미합니다."

"SW 프로젝트 결과물이란 SI이거나 SW 솔루션이거나 서비스이거나 하겠지요. 그 결과물의 점수를 일반적으로 점수화한다는 시도 자체가 피겨 스케이팅의 점수 채점을 객관화하는 것과 왜 비슷하다고 생각하는지 모르겠구요. 그에 앞서 왜 점수화를 하려고 하는지 편의적인 발상이 아닌가 하는 부분입니다. 일반화한 정량화는 비교가 가능한 정량화인데 그것을 추구하는 의도가 무엇인가요? SW에서 가장 경계하는 것 중 하나가 단지 있으면 좋을 것 같은 것입니다. 왜 하는지 모르고 하는 거죠. SW가 그냥 일반적인 목적을 갖지 않는다면 SW를 일반화한 평가가 의미가 있는 걸까요? 비교 분석하려는 평가 목표 자체가 문제가 있다고 생각합니다. 비교라는 건 엄밀한 제약 조건을 가지고 있어야 하는데 단순 논리에 의한 일반화의 오류가 보이기 때문에 얘기했습니다. SW에 대한 일반화된 정량화보다는 목표의 엄밀한 설정이 중요하다고 생각합니다."

"SW가 어떤 목적을 달성하기 위한 해결책인데 목적과 무관한 일반화된 평가 지표.. 그것은 비현실적인 생각인데 그것을 일반화하려는 무리한 시도 자체가 SW의 질적 수준을 저해한다고 생각합니다. 국내 SW 정책이 그런 정량주의에 기반하고 있죠. SW가 아닌 SW공학이 SW 정책을 입안하고... SI 프로젝트와 같이 SW 수준이 중요하지 않은 프로젝트에서나 가능한 걸 일반화하기도 하고.."

"프로젝트 결과를 정량화하는 게 도덕적 사회적 기준으로 한다는 걸 뜻하는 것이었나요? 그조차 정량화한다는 건 다른 의미인데요.. 주장하는 프로젝트 정량화가 개발하는 사람과 사회와 무슨 관련이 있는지? 제가 얘기한 건 일반화의 오류를 얘기한 것이고, 개별 프로젝트별로 성공의 잣대가 다를 수 있고 목적이 다르기 때문에 그 목적별로 계량화의 가능성을 부정한 게 아닙니다."

"네... 프로젝트의 평가에 사회적 가치와 개발자들에 대한 부분을 포함하고 싶다는 의지는 이해가 됩니다만, 정량화(계량화, 수치화)와 일반화(보편화)에 대한 부분은 저는 반대하는 입장입니다. 사회적 가치와 개발자 부분에 대한 얘기도 평가를 왜 하느냐 하는 목적과 관련이 있는 것입니다. 언뜻 보기에 국가 정책의 평가기준으로 개발하자는 것으로 보이나 소프트웨어 공학에서 그러한 부분을 다루지 않고 있었으므로 다른 영역의 문제로 보이고, 만약 프로젝트의 평가 기준에 사회적 기여나 개발자 부분(요즘 이슈가 되고 있는 농협 프로젝트 개발자와 같은 경우를 예방하려는?)을 포함해야 한다는 주장이라면 이는 기여를 어떻게 보고 개발자 이슈를 어떻게 보완할 수 있을까 하는 세부 방침에서는 아이디어가 필요하겠지만 전반적으로 좋은 의견이라고 생각되어 찬성입니다. 하지만 그런 부분을 포함하여 소프트웨어 프로젝트 결과를 정량화해서 일반적으로 적용할 수 있느냐 하는 건 반대하는 입장입니다."

"수치화하는 거야 할 수 있지요.. KPI나 BSC 개념을 프로젝트별로 적용하는 것도 가능하고.. 하지만 일반화하는 기준은 현실성이 없어서.."

소프트웨어에 대한 평가는 필요하겠지만 객관화된 방법론이 없는 것이라고 할까..

오히려 지식산업적 특성이나 창의성을 중시하기 때문에 과정을 중시한다.

과정에서 사람들(!)이 충분히 소통하였고 충분히 기술적 깊이를 공유하였는지 그 기반 위에서 아이디어를 솔루션에 기여하였는지.. 그런 부분이 가장 중요한 부분이고...

개인별로 성장을 위한 도전적 과제 설정을 중시하고..

게다가 만드는 사람이기 때문에 외부로부터 평가받는 건 애시당초 별로이다.. 쩝..

내부적으로야 과정을 알기 때문에 한계와 아쉬움, 개선점들이 늘 있지만...

"평가를 객관화할 수 없다는 논지이구요... 그래서 주관화하겠다는 거지요... 수치화와 객관화는 조금 다른데 천편일률적으로 적용할 수 있는 수치화는 객관화라고 볼 수 있구요, 각 프로젝트 혹은 각 제품별로 목표에 따른 수치화를 한다는 것은 주관화라고 볼 수 있겠네요. 주관적 평가라고 하더라도 그 수치 기준을 잡는 건 매우 어렵구요.. 각 프로젝트 혹은 개발 과정 상에서 기준을 합리적으로 계속해서 변경해가야 한다고 생각한답니다."

"객관화된 방법론이 없고, SW 공학 쪽에서 열심히 시도를 했지만 합리적인 결과물이 나오지 못했습니다. 그건 SW를 일반적으로 범주화하여 평가하겠다는 시도가 잘못되었다고 해석하고 있다는 거구요.. 사람의 키를 침대에 맞추려는 시도를 하겠다는 건 아니겠죠?"

"XP는 객관화된 시도에 반대하여 실질적인 내실화를 시도하는 흐름입니다. 소프트웨어 공학 쪽에서는 XP를 다시 범주화하여 agile이라고 부르고 있긴 합니다만..."