Singularity kommer sannolikt att vara ett faktum under vår livstid om vi inte reglerar utvecklingen på något sätt. Om vi som art och världssamfund ska tillåta singularity att uppnås är precis som du antyder Jacob vår tids största ödesfråga. Jag hade en lång diskussion med Max Tegmark om detta efter att han nyligen samlat världens ledande AI-forskare (han gör det vartannat år). Amerikanska, ryska och kinesiska forskare tycks alla vara överens om att vi behöver dra en röd linje och managera vad AI ska ha för begränsningar. Problemet är ju att ledarna för dessa länder aldrig kommer att komma överens eftersom de alla vill ha teknikherravälde, och det kan bli vår undergång (i alla fall om man är dystopiskt sinnad). Ett antal mindre länder, som Sverige, skulle härvidlag kunna spela en roll i att driva frågan om ett AI-kontrollavtal. Det tragiska är att Max Tegmark förgäves försökt förmå den svenska statsledningen att engagera sig i denna fråga. Det kan visa sig bli ett historiskt misstag.
> Det här är nästan en enklare fråga att svara på. Om man tror på att människor kan skapa en konstgjord intelligens som kan utvecklas från en myras nivå till en människa på några årtionden (något evolutionen lagt hundratals miljoner år på), varför skulle man tro att det skulle stanna precis på människas nivå? Varför skulle inte en dator som på kort tid blivit lika intelligent som en människa vara 10% mer intelligent nästa månad, och 20% mer månaden efter det? Det här brukar kallas “singularitet”
Jag håller med dig här, men Steven Pinker ifrågasätter att ”superintelligens” alls är meningsfullt:
> One more point relevant to the general drift of the comments. My statement that “superintelligence” is incoherent is not a semantic quibble that the word is meaningless, and it’s not a pre-emptive strategy of Moving the True Scottish Goalposts. Sure, you could define “superintelligence,” just as you can define “miracle” or “perpetual motion machine” or “square circle.” And you could even recognize it if you ever saw it. But that does not make it coherent in the sense of being physically realizable.
Singularity kommer sannolikt att vara ett faktum under vår livstid om vi inte reglerar utvecklingen på något sätt. Om vi som art och världssamfund ska tillåta singularity att uppnås är precis som du antyder Jacob vår tids största ödesfråga. Jag hade en lång diskussion med Max Tegmark om detta efter att han nyligen samlat världens ledande AI-forskare (han gör det vartannat år). Amerikanska, ryska och kinesiska forskare tycks alla vara överens om att vi behöver dra en röd linje och managera vad AI ska ha för begränsningar. Problemet är ju att ledarna för dessa länder aldrig kommer att komma överens eftersom de alla vill ha teknikherravälde, och det kan bli vår undergång (i alla fall om man är dystopiskt sinnad). Ett antal mindre länder, som Sverige, skulle härvidlag kunna spela en roll i att driva frågan om ett AI-kontrollavtal. Det tragiska är att Max Tegmark förgäves försökt förmå den svenska statsledningen att engagera sig i denna fråga. Det kan visa sig bli ett historiskt misstag.
> Det här är nästan en enklare fråga att svara på. Om man tror på att människor kan skapa en konstgjord intelligens som kan utvecklas från en myras nivå till en människa på några årtionden (något evolutionen lagt hundratals miljoner år på), varför skulle man tro att det skulle stanna precis på människas nivå? Varför skulle inte en dator som på kort tid blivit lika intelligent som en människa vara 10% mer intelligent nästa månad, och 20% mer månaden efter det? Det här brukar kallas “singularitet”
Jag håller med dig här, men Steven Pinker ifrågasätter att ”superintelligens” alls är meningsfullt:
> One more point relevant to the general drift of the comments. My statement that “superintelligence” is incoherent is not a semantic quibble that the word is meaningless, and it’s not a pre-emptive strategy of Moving the True Scottish Goalposts. Sure, you could define “superintelligence,” just as you can define “miracle” or “perpetual motion machine” or “square circle.” And you could even recognize it if you ever saw it. But that does not make it coherent in the sense of being physically realizable.
https://scottaaronson.blog/?p=6593