Anthropic отказва военна интеграция поради риск от халюцинации и ескалация, защитавайки своята уникална система за Конституционен AI.
Основният аргумент на Anthropic срещу премахването на защитите е техническата несъвършеност на настоящите модели. Въпреки напредъка на Claude 3.5 и следващите версии, проблемът с „халюцинациите“ остава нерешен. В гражданска среда грешка на AI може да доведе до грешен програмен код или неточен превод, но в командния център на Пентагона тя може да означава цивилни жертви или нежелана ескалация на конфликт. Философията на Anthropic, наречена „Constitutional AI“ (Конституционен AI), разчита на набор от принципи, които моделът използва, за да се саморегулира по време на обучението. Тези принципи са базирани на Всеобщата декларация за правата на човека и условията за ползване на Apple, като целта е AI да бъде „полезен, честен и безвреден“.
Пентагонът обаче вижда тези принципи като пречка. Военните стратези твърдят, че в условията на война AI трябва да може да анализира цели и да предлага тактики, които по дефиниция включват насилие. Anthropic контрира, че ако се премахне забраната за вреда, се срива цялата логическа структура на модела, което го прави нестабилен. Компанията идентифицира три критични зони на риск: първо, автономни оръжейни системи, където AI може да вземе решение за стрелба без човешка намеса; второ, масов надзор и анализ на данни, който нарушава личната неприкосновеност; и трето, разработване на нови видове оръжия чрез способностите на модела за научен анализ. За Anthropic тези приложения са в директно противоречие с тяхната мисия за създаване на AI, който е в съответствие с човешките интереси.
Освен това, Дарио Амодей подчертава, че „отключването“ на модела за военните би създало опасен прецедент. Ако една държава получи достъп до нефилтриран Claude, други ще поискат същото, което ще доведе до неконтролируема надпревара във въоръжаването с AI. Вместо да се превърне в инструмент за унищожение, Anthropic иска Claude да остане платформа за иновации, медицина и образование. Този идеологически сблъсък показва, че бъдещето на AI няма да се определя само от изчислителната мощ, а от етичните рамки, които създателите му са готови да защитават. Решението на компанията е базирано на дългосрочната визия, че доверието на потребителите е по-ценно от краткосрочните държавни субсидии, особено в ера, в която прозрачността става ключов фактор за пазарен успех.