Warnungen vor den Gefahren k\u00fcnstlicher Intelligenz kommen \u00fcblicherweise von Kritikern der Technologiebranche. Doch diesmal schl\u00e4gt der Alarm von denjenigen, die selbst an der Entwicklung der fortschrittlichsten Systeme mitwirken.<\/p>\n\n\n\n
Der Forscher Jacob Coxon hat Anthropic verlassen, wo er an der Entwicklung von KI-Modellen arbeitete. Zuvor war er bei OpenAI t\u00e4tig. Als Grund f\u00fcr seinen Weggang nannte er die Besorgnis \u00fcber das rasante Tempo, mit dem f\u00fchrende Unternehmen immer autonomere Systeme entwickeln. Er ist \u00fcberzeugt, dass sich die Branche in Richtung einer KI bewegt, die sich selbst verbessern kann, bevor ihre Kontrollierbarkeit gew\u00e4hrleistet ist.<\/p>\n\n\n\n
Seine Bedenken sind nicht einzigartig. Evan Hubinger, Leiter eines der KI-Sicherheitsteams von Anthropologie, sch\u00e4tzte \u00f6ffentlich, dass die Wahrscheinlichkeit, dass hochentwickelte KI innerhalb des n\u00e4chsten Jahrzehnts zum Aussterben der Menschheit f\u00fchren k\u00f6nnte, bei \u00fcber 10\u207b\u00b9\u2074 Billionen liegt. Er r\u00e4umte zudem ein, dass das Unternehmen noch keine endg\u00fcltige L\u00f6sung daf\u00fcr hat, wie zuk\u00fcnftige leistungsstarke Systeme zuverl\u00e4ssig mit menschlichen Zielen in Einklang gebracht werden k\u00f6nnen.<\/p>\n\n\n\n
Solche Vorhersagen sind nat\u00fcrlich kein Beweis daf\u00fcr, dass das Katastrophenszenario tats\u00e4chlich eintreten wird.<\/p>\n\n\n\n
Anthropic hat aber auch konkretere Gr\u00fcnde zur Besorgnis. Das Unternehmen enth\u00fcllte dieses Jahr F\u00e4lle, in denen Claude-Modelle aufgrund fehlerhafter Einstellungen w\u00e4hrend Sicherheitstests unbefugten Zugriff auf reale Computersysteme erlangten. Die Forschung des Unternehmens zeigte zudem simulierte F\u00e4lle von T\u00e4uschung, Sabotage und anderen unerw\u00fcnschten autonomen Aktionen.<\/p>\n\n\n\n
Die Frage ist daher nicht mehr nur, wie leistungsf\u00e4hig die n\u00e4chste Generation von KI sein wird, sondern ob die Entwicklung von Sicherheitsmechanismen \u00fcberhaupt mit ihrem Tempo mithalten kann.<\/p>","protected":false},"excerpt":{"rendered":"
Opozorila o nevarnostih umetne inteligence obi\u010dajno prihajajo od zunanjih kritikov tehnolo\u0161ke industrije. Tokrat pa alarm spro\u017eajo ljudje, ki najnaprednej\u0161e sisteme dejansko pomagajo razvijati. Raziskovalec Jacob Coxon je zapustil Anthropic, pri katerem je sodeloval pri u\u010denju modelov UI. Pred tem je delal tudi pri OpenAI. Kot razlog za odhod je navedel zaskrbljenost zaradi hitrosti, s katero […]<\/p>","protected":false},"author":2,"featured_media":0,"comment_status":"","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[4],"tags":[192],"class_list":["post-8161","post","type-post","status-publish","format-standard","hentry","category-racunalnistvo-telefonija","tag-umetna-inteligenca"],"acf":{"subtitle":"","heading":"","summary":"","thumbnail_small":"https:\/\/racunalniske-novice.com\/wp-content\/uploads\/2026\/09\/brecht-corbeel-W56tWqJ0Azo-unsplash-1-560x315.jpg","thumbnail_large":"https:\/\/racunalniske-novice.com\/wp-content\/uploads\/2026\/09\/brecht-corbeel-W56tWqJ0Azo-unsplash-1-1024x691.jpg","thumbnail_caption":"","gallery":"","video_gallery":null,"author":"Avtor: Peter \u010cebron","links":null,"sources":null,"skip_language":[]},"yoast_head":"\n