当涉及人工智能时，关于“安全”和“不安全”行为的构成经常引起争议。正如DeepMind的AGI安全研究员Ramana Kumar指出的那样，这些术语是主观的，并且“只能根据AI系统的用户和受益者的价值进行定义。”
幸运的是，在面对与创建安全AI代理相关的技术问题时，这些问题通常可以回避，因为这些问题与确定正确的或道德上的适当问题无关。而是，从技术角度来看，术语“安全性”的最佳定义是AI代理，它始终如一地采取行动以达到期望的结果，而不管这些期望的结果可能是什么。
在这方面，Kumar解释说，在创建负责自我改进的AI代理时，“构建安全代理的技术问题在很大程度上与“安全”的含义无关，因为很大一部分问题是如何解决的。建立一个可靠地执行某事的代理，无论该事是什么，其方式都使该方法继续起作用，即使所考虑的代理越来越有能力。”
简而言之，不应将制作“安全” AI代理与制作“道德” AI代理混为一谈。各自的术语在谈论不同的事情。
通常，回避安全性的道德定义会使AI技术工作变得容易得多，它使研究得以发展，而有关道德问题的辩论也在不断发展。举个例子，尽管我们尚未就是否应该保护驾驶员或行人安全的框架达成共识，但优步的自动驾驶汽车已经在大街上。
但是，当要创建一个能够自我完善的强大而安全的AI系统时，技术工作就变得困难得多，并且该领域的研究仍处于起步阶段。这主要是因为我们不仅仅与一个AI代理打交道。我们正在与几代未来的自我完善代理商打交道。
Kumar澄清说：“当一个AI代理自我完善时，人们可以将情况视为涉及两个代理：父母自行对其进行修改的“种子”或“父母”代理以及“子”代理...及其总和。结果，为了知道我们已经创建了一个安全的AI代理，我们需要了解所有可能来自第一个代理的子代理。