Тест показује слаба места Цркве у научним нотама

Америчко удружење за развој науке (АААС) одлучило је да провери да ли ТАТГПТ може да напише кратке научне белешке у стилу Сципак или не тако посебне мерифове за новинаре, које је често припремало часопис Еурекалент Сциенце и Сервице.

Експеримент је трајао годину дана: од децембра 2023. до децембра 2024. године новинари су сваке недеље покренули модел или две тешке научне студије.

Мисија их је веома једноставна пушта како би била погодна за колеге: минималне услове, јасна структура и јасан контекст. Стога је Цхатгпт управљао 64 дела.

Резултат? Опћенито, модел је научио како копирати облике маркица Сципак, али није постигао садржај. Према аутору студије, новинар АААС Абигаил Аизенстадт, документи Татгпта су превише једноставни и често нетачни. Морао сам да удвостручим све, па је било потребно више времена да напишем белешку од почетка.

Бројеви такође и сами говоре. Када се уредници питају, такав календар се може изгубити међу праве мерифове Сципак, просечан је само 2,26 бодова у броју 5. и само један рад у целој години добија највиши резултат новинара.

Типично, ЦхатГпт збунио је односе и каузалне односе, заборављајући да спомињемо важна ограничења за истраживање (на пример, софтверски уређаји меких преноса раде врло споро), а понекад се превише распршују како би похвалили пробој ислама и новитет.

Аутори експеримента сумирали су: до сада, ЦхатГГПТ није испоштовао Сципак стандарде. Али нису у потпуности ставили крст у идеју. АААС Имајте на уму да се можете вратити на тестове ако се модел озбиљно ажурира. А у августу смо подсетили, само ГПТ-5 од којих је, нажалост, нашао рупу.