Arxiu del dissabte, 29/06/2019

“Life 3.0″

dissabte, 29/06/2019


After 13.8 billion years of cosmic history, our universe has woken up and become aware of itself. From a small blue planet, tiny, conscious parts of our universe have begun gazing out into the cosmos with telescopes, discovering something humbling. We’ve discovered that our universe is vastly grander than our ancestors imagined and that life seems to be an almost imperceptibly small perturbation on an otherwise dead universe. But we’ve also discovered something inspiring, which is that the technology we’re developing has the potential to help life flourish like never before, not just for centuries but for billions of years, and not just on earth but throughout much of this amazing cosmos.


I think of the earliest life as “Life 1.0″ because it was really dumb, like bacteria, unable to learn anything during its lifetime. I think of us humans as “Life 2.0″ because we can learn, which we in nerdy, geek speak, might think of as installing new software into our brains, like languages and job skills. “Life 3.0,” which can design not only its software but also its hardware of course doesn’t exist yet. But perhaps our technology has already made us “Life 2.1,” with our artificial knees, pacemakers and cochlear implants.01:33So let’s take a closer look at our relationship with technology, OK? As an example, the Apollo 11 moon mission was both successful and inspiring, showing that when we humans use technology wisely, we can accomplish things that our ancestors could only dream of. But there’s an even more inspiring journey propelled by something more powerful than rocket engines, where the passengers aren’t just three astronauts but all of humanity. Let’s talk about our collective journey into the future with artificial intelligence.


My friend Jaan Tallinn likes to point out that just as with rocketry, it’s not enough to make our technology powerful. We also have to figure out, if we’re going to be really ambitious, how to steer it and where we want to go with it. So let’s talk about all three for artificial intelligence: the power, the steering and the destination.


Let’s start with the power. I define intelligence very inclusively — simply as our ability to accomplish complex goals, because I want to include both biological and artificial intelligence. And I want to avoid the silly carbon-chauvinism idea that you can only be smart if you’re made of meat. It’s really amazing how the power of AI has grown recently. Just think about it. Not long ago, robots couldn’t walk. Now, they can do back flips. Not long ago, we didn’t have self-driving cars. Now, we have self-flying rockets. Not long ago, AI couldn’t do face recognition. Now, AI can generate fake faces and simulate your face saying stuff that you never said. Not long ago, AI couldn’t beat us at the game of Go. Then, Google DeepMind’s AlphaZero AI took 3,000 years of human Go games and Go wisdom, ignored it all and became the world’s best player by just playing against itself. And the most impressive feat here wasn’t that it crushed human gamers, but that it crushed human AI researchers who had spent decades handcrafting game-playing software. And AlphaZero crushed human AI researchers not just in Go but even at chess, which we have been working on since 1950.


So all this amazing recent progress in AI really begs the question: How far will it go? I like to think about this question in terms of this abstract landscape of tasks, where the elevation represents how hard it is for AI to do each task at human level, and the sea level represents what AI can do today. The sea level is rising as AI improves, so there’s a kind of global warming going on here in the task landscape. And the obvious takeaway is to avoid careers at the waterfront —



which will soon be automated and disrupted. But there’s a much bigger question as well. How high will the water end up rising? Will it eventually rise to flood everything, matching human intelligence at all tasks. This is the definition of artificial general intelligence — AGI, which has been the holy grail of AI research since its inception. By this definition, people who say, “Ah, there will always be jobs that humans can do better than machines,” are simply saying that we’ll never get AGI. Sure, we might still choose to have some human jobs or to give humans income and purpose with our jobs, but AGI will in any case transform life as we know it with humans no longer being the most intelligent. Now, if the water level does reach AGI, then further AI progress will be driven mainly not by humans but by AI, which means that there’s a possibility that further AI progress could be way faster than the typical human research and development timescale of years, raising the controversial possibility of an intelligence explosion where recursively self-improving AI rapidly leaves human intelligence far behind, creating what’s known as superintelligence.


Alright, reality check: Are we going to get AGI any time soon? Some famous AI researchers, like Rodney Brooks, think it won’t happen for hundreds of years. But others, like Google DeepMind founder Demis Hassabis, are more optimistic and are working to try to make it happen much sooner. And recent surveys have shown that most AI researchers actually share Demis’s optimism, expecting that we will get AGI within decades, so within the lifetime of many of us, which begs the question — and then what? What do we want the role of humans to be if machines can do everything better and cheaper than us?


The way I see it, we face a choice. One option is to be complacent. We can say, “Oh, let’s just build machines that can do everything we can do and not worry about the consequences. Come on, if we build technology that makes all humans obsolete, what could possibly go wrong?”



But I think that would be embarrassingly lame. I think we should be more ambitious — in the spirit of TED. Let’s envision a truly inspiring high-tech future and try to steer towards it. This brings us to the second part of our rocket metaphor: the steering. We’re making AI more powerful, but how can we steer towards a future where AI helps humanity flourish rather than flounder? To help with this, I cofounded the Future of Life Institute. It’s a small nonprofit promoting beneficial technology use, and our goal is simply for the future of life to exist and to be as inspiring as possible. You know, I love technology. Technology is why today is better than the Stone Age. And I’m optimistic that we can create a really inspiring high-tech future … if — and this is a big if — if we win the wisdom race — the race between the growing power of our technology and the growing wisdom with which we manage it.But this is going to require a change of strategy because our old strategy has been learning from mistakes. We invented fire, screwed up a bunch of times — invented the fire extinguisher.



We invented the car, screwed up a bunch of times — invented the traffic light, the seat belt and the airbag, but with more powerful technology like nuclear weapons and AGI, learning from mistakes is a lousy strategy, don’t you think?



It’s much better to be proactive rather than reactive; plan ahead and get things right the first time because that might be the only time we’ll get. But it is funny because sometimes people tell me, “Max, shhh, don’t talk like that. That’s Luddite scaremongering.” But it’s not scaremongering. It’s what we at MIT call safety engineering. Think about it: before NASA launched the Apollo 11 mission, they systematically thought through everything that could go wrong when you put people on top of explosive fuel tanks and launch them somewhere where no one could help them. And there was a lot that could go wrong. Was that scaremongering? No. That’s was precisely the safety engineering that ensured the success of the mission, and that is precisely the strategy I think we should take with AGI. Think through what can go wrong to make sure it goes right.


So in this spirit, we’ve organized conferences, bringing together leading AI researchers and other thinkers to discuss how to grow this wisdom we need to keep AI beneficial. Our last conference was in Asilomar, California last year and produced this list of 23 principles which have since been signed by over 1,000 AI researchers and key industry leaders, and I want to tell you about three of these principles.


One is that we should avoid an arms race and lethal autonomous weapons. The idea here is that any science can be used for new ways of helping people or new ways of harming people. For example, biology and chemistry are much more likely to be used for new medicines or new cures than for new ways of killing people, because biologists and chemists pushed hard — and successfully — for bans on biological and chemical weapons. And in the same spirit, most AI researchers want to stigmatize and ban lethal autonomous weapons. Another Asilomar AI principle is that we should mitigate AI-fueled income inequality. I think that if we can grow the economic pie dramatically with AI and we still can’t figure out how to divide this pie so that everyone is better off, then shame on us.


Alright, now raise your hand if your computer has ever crashed.



Wow, that’s a lot of hands. Well, then you’ll appreciate this principle that we should invest much more in AI safety research, because as we put AI in charge of even more decisions and infrastructure, we need to figure out how to transform today’s buggy and hackable computers into robust AI systems that we can really trust, because otherwise, all this awesome new technology can malfunction and harm us, or get hacked and be turned against us. And this AI safety work has to include work on AI value alignment, because the real threat from AGI isn’t malice, like in silly Hollywood movies, but competence — AGI accomplishing goals that just aren’t aligned with ours. For example, when we humans drove the West African black rhino extinct, we didn’t do it because we were a bunch of evil rhinoceros haters, did we? We did it because we were smarter than them and our goals weren’t aligned with theirs. But AGI is by definition smarter than us, so to make sure that we don’t put ourselves in the position of those rhinos if we create AGI, we need to figure out how to make machines understand our goals, adopt our goals and retain our goals.


And whose goals should these be, anyway? Which goals should they be?

This brings us to the third part of our rocket metaphor: the destination. We’re making AI more powerful,trying to figure out how to steer it, but where do we want to go with it? This is the elephant in the room that almost nobody talks about — not even here at TED — because we’re so fixated on short-term AI challenges. Look, our species is trying to build AGI, motivated by curiosity and economics, but what sort of future society are we hoping for if we succeed? We did an opinion poll on this recently, and I was struck to see that most people actually want us to build superintelligence: AI that’s vastly smarter than us in all ways. What there was the greatest agreement on was that we should be ambitious and help life spread into the cosmos, but there was much less agreement about who or what should be in charge. And I was actually quite amused to see that there’s some some people who want it to be just machines.



And there was total disagreement about what the role of humans should be, even at the most basic level, so let’s take a closer look at possible futures that we might choose to steer toward, alright?


So don’t get me wrong here. I’m not talking about space travel, merely about humanity’s metaphorical journey into the future. So one option that some of my AI colleagues like is to build superintelligence and keep it under human control, like an enslaved god, disconnected from the internet and used to create unimaginable technology and wealth for whoever controls it. But Lord Acton warned us that power corrupts, and absolute power corrupts absolutely, so you might worry that maybe we humans just aren’t smart enough, or wise enough rather, to handle this much power. Also, aside from any moral qualms you might have about enslaving superior minds, you might worry that maybe the superintelligence could outsmart us, break out and take over. But I also have colleagues who are fine with AI taking over and even causing human extinction, as long as we feel the the AIs are our worthy descendants, like our children. But how would we know that the AIs have adopted our best values and aren’t just unconscious zombies tricking us into anthropomorphizing them? Also, shouldn’t those people who don’t want human extinction have a say in the matter, too? Now, if you didn’t like either of those two high-tech options, it’s important to remember that low-tech is suicide from a cosmic perspective, because if we don’t go far beyond today’s technology, the question isn’t whether humanity is going to go extinct, merely whether we’re going to get taken out by the next killer asteroid, super volcano or some other problem that better technology could have solved.


So, how about having our cake and eating it … with AGI that’s not enslaved but treats us well because its values are aligned with ours? This is the gist of what Eliezer Yudkowsky has called “friendly AI,” and if we can do this, it could be awesome. It could not only eliminate negative experiences like disease, poverty, crime and other suffering, but it could also give us the freedom to choose from a fantastic new diversity of positive experiences — basically making us the masters of our own destiny.


So in summary, our situation with technology is complicated, but the big picture is rather simple. Most AI researchers expect AGI within decades, and if we just bumble into this unprepared, it will probably be the biggest mistake in human history — let’s face it. It could enable brutal, global dictatorship with unprecedented inequality, surveillance and suffering, and maybe even human extinction. But if we steer carefully, we could end up in a fantastic future where everybody’s better off: the poor are richer, the rich are richer, everybody is healthy and free to live out their dreams.


Now, hang on. Do you folks want the future that’s politically right or left? Do you want the pious society with strict moral rules, or do you an hedonistic free-for-all, more like Burning Man 24/7? Do you want beautiful beaches, forests and lakes, or would you prefer to rearrange some of those atoms with the computers, enabling virtual experiences? With friendly AI, we could simply build all of these societiesand give people the freedom to choose which one they want to live in because we would no longer be limited by our intelligence, merely by the laws of physics. So the resources and space for this would be astronomical — literally.


So here’s our choice. We can either be complacent about our future, taking as an article of blind faiththat any new technology is guaranteed to be beneficial, and just repeat that to ourselves as a mantra over and over and over again as we drift like a rudderless ship towards our own obsolescence. Or we can be ambitious — thinking hard about how to steer our technology and where we want to go with it to create the age of amazement. We’re all here to celebrate the age of amazement, and I feel that its essence should lie in becoming not overpowered but empowered by our technology.

Thank you.



Después de 13,8 mil millones de años de historia cósmica, nuestro universo ha despertado y toma conciencia de sí mismo. Desde un pequeño planeta azul, pequeñas partes conscientes de nuestro universo han comenzado a mirar hacia el cosmos con telescopios, descubriendo un poco de humildad. Descubrimos que nuestro universo es mucho más grandioso de lo que nuestros antepasados imaginaron y esa vida parece ser una perturbación casi imperceptiblemente pequeña en un universo por lo demás muerto. Pero también descubrimos algo inspirador, que es que la tecnología que estamos desarrollando tiene el potencial de ayudar a que la vida florezca como nunca antes, no solo por siglos, sino por miles de millones de años, y no solo en la Tierra sino a lo largo de gran parte de este increíble cosmos.

Pienso en la vida más temprana como “Vida 1.0″ porque era realmente tonta, como las bacterias, incapaces de aprender nada durante su vida. Pienso en nosotros los humanos como “Vida 2.0″ porque podemos aprender, que en ‘nerdy’, hablando ‘geek’, podría pensarse como instalar un nuevo software en nuestros cerebros, como idiomas y habilidades laborales. La “Vida 3.0″, que puede diseñar no solo su software sino también su hardware, por supuesto no existe todavía. Pero tal vez nuestra tecnología ya nos haya hecho “Vida 2.1″ con nuestras rodillas artificiales, marcapasos e implantes cocleares.Echemos un vistazo más de cerca a nuestra relación con la tecnología, ¿vale? Como ejemplo, la misión Apolo 11 a la Luna fue exitosa e inspiradora, mostrando que cuando los humanos usamos la tecnología sabiamente, podemos lograr cosas que nuestros antepasados solo podían soñar. Pero hay un viaje aún más inspirador propulsado por algo más poderoso que un cohete, en el que los pasajeros no son solo tres astronautas, sino toda la humanidad. Hablemos de nuestro viaje colectivo hacia el futuro con inteligencia artificial.

A mi amigo Jaan Tallinn le gusta señalar que al igual que con los cohetes, no es suficiente con que nuestra tecnología sea poderosa. También hay que descubrir, si seremos lo suficientemente ambiciosos, como dirigirla y a dónde queremos ir con eso. Así que hablemos de las tres para la inteligencia artificial: el poder, la dirección y el destino.

Comencemos con el poder. Yo defino la inteligencia de forma muy inclusiva… simplemente como nuestra capacidad para lograr objetivos complejos, porque quiero incluir inteligencia biológica y artificial. Y quiero evitar la tonta idea del chauvinismo de carbono: que solo se puede ser inteligente si se está hecho de carne. Es realmente sorprendente cómo el poder de la IA ha crecido recientemente. Solo piensen en ello. No hace mucho tiempo, los robots no podían caminar. Hoy pueden hacer volteretas hacia atrás. No hace mucho tiempo, no teníamos autos sin conductor. Ahora, tenemos cohetes que vuelan de forma autónoma. No hace mucho tiempo, la IA no podía hacer reconocimiento facial. Ahora la IA puede generar caras falsas y simula tu cara diciendo cosas que nunca dijiste. No hace mucho tiempo, la IA no podía vencernos en el juego de Go. AlphaZero AI de Google DeepMind tomó 3000 años de juegos de Go humanos y la sabiduría Go, lo ignoró todo y se convirtió en el mejor jugador del mundo simplemente jugando contra sí misma. Y la hazaña más impresionante aquí no fue que aplastara a los jugadores humanos, sino que aplastó a los investigadores humanos de IA que habían pasado décadas elaborando software de juegos a mano. Y AlphaZero aplastó a los investigadores de IA humana no solo en Go sino incluso en ajedrez, en el que hemos estado trabajando desde 1950.

Así que este increíble progreso reciente en IA realmente plantea la pregunta: ¿hasta dónde llegará? Me gusta pensar en esta pregunta en términos de este paisaje abstracto de tareas, en el que la elevación representa lo difícil que es para la IA hacer cada tarea a nivel humano, y el nivel del mar representa lo que la IA puede hacer hoy. El nivel del mar aumenta a medida que mejora la IA, así hay una especie de calentamiento global en el paisaje de tareas. Y lo obvio es evitar las carreras en el paseo marítimo…


que pronto será automatizado e interrumpido. Pero también hay una pregunta mucho más relevante. ¿Qué tan alto llegará el agua?¿Finalmente se aumentará hasta inundar todo, coincidir la inteligencia humana en todas las tareas? Esta es la definición de inteligencia general artificial… IAG, que ha sido el santo grial de la investigación de IA desde su inicio. Según esta definición, las personas que dicen, “Siempre habrá trabajos que los humanos puedan hacer mejor que las máquinas”, simplemente están diciendo que nunca tendremos IAG. Claro, aún podríamos elegir tener algunos trabajos humanos o darles a los humanos un ingreso y un propósito con nuestros trabajos, pero la IAG en cualquier caso transformará la vida tal como la conocemos al no ser ya los humanos los más inteligentes. Ahora, si el nivel del agua llega a IAG, entonces, el progreso de la IA no será impulsado principalmente por humanos, sino por la IA, lo que significa que hay la posibilidad de que ese progreso adicional de la IA sea mucho más rápido que la escala de tiempo típica de investigación y desarrollo humano de años, planteando la posibilidad controvertida de una explosión de inteligencia donde la IA recursivamente auto-mejorada rápidamente deja muy atrás la inteligencia humana, creando lo que se conoce como superinteligencia.

Bien, verificación de la realidad: ¿Vamos a lograr IAG en el corto plazo? Algunos investigadores famosos de IA, como Rodney Brooks, creen que no sucederá en cientos de años. Pero otros, como el fundador de Google DeepMind, Demis Hassabis, son más optimistas y están trabajando para tratar de que suceda mucho antes. Y encuestas recientes han mostrado que la mayoría de los investigadores IA en realidad comparten el optimismo de Demis, esperando que obtengamos IAG en décadas, en la vida de muchos de nosotros, lo cual plantea la pregunta, ¿y luego qué? ¿Cuál queremos que sea el papel de los humanos si las máquinas pueden hacer todo mejor y más barato que nosotros?

De la forma en que lo veo, enfrentamos una elección. Una opción es ser complacientes. Decir: “Construyamos máquinas que puedan hacer todo lo que podemos hacer y no preocuparnos por las consecuencias. Es decir, si construimos tecnología que hace a todos los humanos obsoletos, ¿qué podrá salir mal?”.


Pero creo que eso sería vergonzosamente flojo. Creo que deberíamos ser más ambiciosos… en el espíritu de TED. Imaginemos un futuro de alta tecnología verdaderamente inspirador y tratemos de dirigirnos a él. Esto nos lleva a la segunda parte de nuestra metáfora del cohete: la dirección. Estamos haciendo que la IA sea más poderosa, pero ¿cómo podemos dirigirnos hacia un futuro en el que la IA ayude a la humanidad a florecer en lugar de al desconcierto? Para esto, cofundé Future of Life Institute, una organización sin fines de lucro que promueve el uso de tecnología beneficiosa, y nuestro objetivo es que exista el futuro de la vida y ser lo más inspiradores posible. Ya saben, me encanta la tecnología. La tecnología es el por qué hoy es mejor que la Edad de Piedra. Y soy optimista de que podemos crear un futuro de alta tecnología realmente inspirador… si —y esto es un gran si— si ganamos la carrera de sabiduría, la carrera entre el poder creciente de nuestra tecnología y la creciente sabiduría con la que lo administramos. Pero esto requerirá un cambio de estrategia porque nuestra vieja estrategia ha sido aprender de los errores. Inventamos el fuego, nos afectó un montón de veces… se inventó el extintor de incendios.


Inventamos el auto, arruinado un montón de veces se inventó el semáforo, el cinturón de seguridad y el airbag, pero con tecnología más poderosa como armas nucleares e IAG, aprender de los errores es una estrategia pésima, ¿no creen?


Es mucho mejor ser proactivo en lugar de reactivo; planificar y hacer las cosas bien la primera vez porque podría ser la única vez que lo consiguiéramos. Pero es extraño porque a veces la gente me dice: “Max, shhh, no hables así. Ese es el alarmismo ludista”. Pero no es alarmismo. Es lo que en MIT llamamos ingeniería de seguridad. Piénsenlo: antes de que la NASA lanzara la misión Apolo 11, pensaron sistemáticamente en todo lo que podría salir mal al poner gente sobre tanques de combustible explosivos y lanzarla a un lugar donde nadie podía ayudarla. Y había muchas cosas que podrían salir mal. ¿Era eso alarmismo? No. Fue precisamente la ingeniería de seguridad la que aseguró el éxito de la misión, y esa es precisamente la estrategia que creo que deberíamos tomar con IAG. Pensar en lo que puede salir mal para asegurarnos de que va a salir bien.

En este espíritu, organizamos conferencias, con los principales investigadores de la IA y otros pensadores para discutir cómo crecer esta sabiduría para mantener la IA beneficiosa. Nuestra última conferencia fue en Asilomar, California, el año pasado y produjo esta lista de 23 principios que desde entonces han sido firmados por más de 1000 investigadores de IA y líderes clave de la industria, y quiero contarles acerca de tres de estos principios.

Uno es que debemos evitar una carrera armamentista y armas letales autónomas. La idea aquí es que toda ciencia puede usarse para nuevas formas de ayudar o nuevas formas de dañar personas. Por ejemplo, es mucho más probable que se usen la biología y la química para nuevas medicinas o nuevas curas que para nuevas formas de matar personas, porque los biólogos y los químicos presionaron mucho y exitosamente… para prohibir las armas biológicas y químicas. Y en el mismo espíritu, la mayoría de los investigadores de IA quieren estigmatizar y prohibir las armas letales autónomas. Otro principio de IA Asilomar es que debemos mitigar la desigualdad de ingresos alimentada con IA. Creo que si podemos hacer crecer el pastel económico radicalmente con la IA y no podemos entender cómo dividir este pastel para que todos estén mejor, entonces avergoncémonos.


Ahora levanten la mano si su computadora se ha dañado alguna vez.


Uy, son muchas manos. Bueno, entonces apreciarán este principio que deberíamos invertir mucho más en la investigación de seguridad de IA, porque al poner a la IA a cargo de más decisiones e infraestructura, tenemos que encontrar cómo transformar las computadoras pirateables y con errores en sistemas robustos de IA en los que poder confiar, porque de otra manera, toda esta nueva tecnología puede funcionar mal y dañarnos, o ser pirateada y volverse contra nosotros. Y este trabajo de seguridad de IA debe incluir trabajo sobre la alineación de valores de IA, porque la amenaza real de la IAG no es la malicia, como en las tontas películas de Hollywood, sino la competencia… La IAG logrando metas que simplemente no están alineadas con las nuestras. Por ejemplo, cuando los humanos llevamos al rinoceronte negro africano occidental a la extinción, no lo hicimos porque fuéramos malvados enemigos del rinoceronte, ¿verdad? Fue porque éramos más inteligentes que ellos y nuestros objetivos no estaban alineados con los suyos. Pero la IAG es, por definición, más inteligente que nosotros, así que para asegurarnos de no ponernos en la posición de esos rinocerontes si creamos la IAG, necesitamos descubrir cómo hacer que las máquinas comprendan nuestros objetivos, adopten nuestros objetivos y retengan nuestros objetivos.

¿Y de quién son los objetivos, de todos modos? ¿Cuáles objetivos deberían ser?

Esto nos lleva a la tercera parte de nuestra metáfora del cohete: el destino. Estamos haciendo que la IA sea más poderosa, tratando de descubrir cómo dirigirla, pero ¿a dónde queremos llegar? Este es el elefante en la habitación del que casi nadie habla… ni siquiera aquí en TED, porque estamos muy obsesionados con los desafíos de la IA a corto plazo. Miren, nuestra especie está tratando de construir la IAG, motivada por la curiosidad y la economía, pero ¿qué tipo de sociedad futura estamos esperando si lo logramos? Una encuesta de opinión sobre esto recientemente, y me llamó la atención ver que la mayoría de la gente quiere que construyamos superinteligencia: La IA es mucho más inteligente que nosotros en todos los sentidos. El mayor acuerdo fue que deberíamos ser ambiciosos y ayudar a la vida a extenderse al cosmos, pero había mucho menos acuerdo sobre quién o qué debería estar a cargo. Y en realidad era bastante entretenido ver que hay algunas personas que quieren que sean solo máquinas.


Y hubo desacuerdo total sobre cuál debería ser el papel de los humanos, incluso en el nivel más básico, así que echemos un vistazo más de cerca a los posibles futuros a los que podríamos elegir dirigirnos, ¿está bien?

No se equivoquen aquí. No estoy hablando de viajes espaciales solo del viaje metafórico de la humanidad hacia el futuro. Entonces, una opción que a algunos de mis colegas de IA les gusta es construir superinteligencia y mantenerla bajo control humano, como un dios esclavizado, desconectado de internet y que se usa para crear tecnología y riqueza inimaginables para quien la controla. Pero Lord Acton nos advirtió que ese poder corrompe, y el poder absoluto corrompe absolutamente, podrían preocuparse de que, tal vez, los humanos no somos lo inteligentes o suficientemente sabios, como para manejar tanto poder. Además, aparte de cualquier reparo moral que puedan tener sobre esclavizar mentes superiores, podrían preocuparse de que tal vez la superinteligencia pueda ser más astuta que nosotros, evadirse y tomar el control. Pero también tengo colegas que están de acuerdo con que la IA se haga cargo e incluso cause la extinción humana, siempre y cuando sientan que las IAs son nuestras dignas descendientes, como nuestros hijos Pero ¿cómo sabríamos que la IA ha adoptado nuestros mejores valores? y no son solo zombis inconscientes engañándonos antropomorfizándose? Además, ¿no deberían las personas que no quieren la extinción humana poder algo decir al respecto también? Ahora, si no les gustó ninguna de esas dos opciones de alta tecnología, es importante recordar que la baja tecnología es un suicidio desde una perspectiva cósmica, porque si no vamos más allá de la tecnología actual, la pregunta no es si la humanidad se va a extinguir, simplemente si nos van a acabar el próximo asteroide asesino, un súper volcán u otro problema que una mejor tecnología podría haber resuelto.

Entonces, ¿qué tal tener nuestro pastel y comérnoslo… con la IAG que no esté esclavizada sino que nos trata bien porque sus valores están alineados con los nuestros? Es la esencia de lo que Eliezer Yudkowsky llama “amigable inteligencia artificial”. y si podemos hacer esto, podría ser increíble. No solo podría eliminar las experiencias negativas como la enfermedad, la pobreza, el crimen u otro sufrimiento, sino también podría darnos la libertad de elegir de una nueva y fantástica diversidad de experiencias positivas básicamente haciéndonos dueños de nuestro propio destino.

Entonces, en resumen, nuestra situación con la tecnología es complicada, pero el panorama general es bastante simple. La mayoría de los investigadores de IA esperan la IAG en décadas, y si nos equivocamos en esto sin preparación, probablemente sea el error más grande en la historia de la humanidad… afrontémoslo. Podría permitir una dictadura brutal y global con desigualdad, vigilancia y sufrimiento sin precedentes, y tal vez incluso la extinción humana. Pero si nos dirigimos con cuidado, podríamos terminar en un futuro fantástico en el que todos estemos mejor: los pobres son más ricos, los ricos son más ricos, todos están sanos y son libres de vivir sus sueños.

Ahora, esperen. ¿Uds. quieren el futuro políticamente de derecha o de izquierda? ¿Quieren la sociedad piadosa con estrictas reglas morales, o una libertad hedonista para todos, más como Burning Man 24/7? ¿Quieren hermosas playas, bosques y lagos, o prefieren reorganizar algunos de esos átomos con las computadoras, permitiendo experiencias virtuales? Con una IA amigable, podríamos construir todas estas sociedades y dar a las personas la libertad de elegir en cuál quieren vivir porque ya no estaríamos limitados por nuestra inteligencia, solo por las leyes de la física. Entonces, los recursos y el espacio para esto serían astronómicos, literalmente.

Así que aquí está nuestra elección. Podemos ser complacientes con nuestro futuro, tomando como un artículo de fe ciega que cualquier nueva tecnología garantiza ser beneficiosa, y solo repetírnoslo a nosotros mismos como un mantra una y otra y otra vez mientras navegamos como un barco sin timón hacia nuestra propia obsolescencia. O podemos ser ambiciosos pensando mucho acerca de cómo dirigir nuestra tecnología y a dónde queremos ir con eso para crear la era del asombro. Todos estamos aquí para celebrar la era del asombro, y siento que su esencia debe estar en no ser poderosos en exceso sino empoderados por nuestra tecnología.