Генеративные сети: ChatGPT, LaMDA, виды обучения, нейроны и всякое другое сложное

Подкаст «Люди и код», выпуск №60: Александр Цуриков.

Иллюстрация: Polina Vari / Skillbox Media

Тимур Тукаев

Фанат Free Software Foundation, использует Linux и недолюбливает Windows. Пишет истории про кодинг и программы на Python. Влюблён в Lisp, но пока что не умеет на нём программировать.

Александр Цуриков

Автор статей про IT-технологии, преподаватель, доцент, инженер и журналист, кандидат технических наук.

Содержание выпуска

Как воспользоваться ChatGPT из России без регистрации.
Что такое обучение вообще и машинное обучение (machine learning) в частности.
Когда и кто ввёл термин «машинное обучение».
Чем машинное обучение отличается от искусственных нейронных сетей и почему это не одно и то же.
В чём заключается парадокс исследований мозга. Имитируют ли искусственные нейросети настоящие нейроны. Как устроен искусственный и естественный нейрон. Зачем отдельные нейроны объединяют в сети. Что означает понятие «скрытый слой» сети.
Сколько нейронов в мозге человека и животных. Определяется ли качество работы искусственных нейросетей только их размером.
Чем глубокое обучение (deep learning) отличается от обычного.
Какие пять типов задач можно решить с помощью нейронных сетей.
Как выглядит изнутри процесс обучения искусственных нейросетей.
Что такое синаптические веса, обучающие пары, ошибка обучения, шаг коррекции, обратное распространение ошибки (backpropagation).
Что такое эпоха обучения. Зачем данные делят на обучающий, проверочный (CV, cross validation) и тестовый наборы.
Что такое переобучение (overfitting) и переспециализация (overspecialization) сети.
Обучение с учителем (supervised learning) и без учителя (unsupervised learning), обучение с подкреплением (reinforcement learning). Чем различаются эти методы и где они применяются.
Как готовят датасеты для машинного обучения: разметка данных, фильтрация, нормирование, извлечение знаний, формализуемые и слабоформализуемые знания.
Что такое пространство признаков, решающая граница (decision boundary), линейно сепарабельные и несепарабельные задачи, проклятие размерности.
Почему простейшая задача «Исключающее ИЛИ» (XOR) отбросила нейросети на 10 лет назад.
Чем машинное обучение принципиально отличается от систем, основанных на правилах.
Философские различия понятий «дедукция» и «индукция» в контексте ИИ и нейронных сетей.
Где брать обучающие данные, наборы данных. Что даёт процесс аугментации данных.
Почему отсутствие открытых датасетов тормозит развитие ИИ в мировом масштабе. LAION-5B как пример важного открытого датасета, появившегося в 2022 году.
Как обучали ChatGPT и модель GPT-3.5, на которой основан этот бот. Зачем OpenAI привлекла к обучению людей.
Как ChatGPT связан с сетью InstructGPT. Что за метод (RLHF, reinforcement learning from human feedback) применили для её обучения.
История и конкуренты ChatGPT.
Внедрение ChatGPT в Bing. Защита нейросетей от зловредного обучения пользователями.
Авторский метод обучения нейросетей.
Как устроена в России охрана интеллектуальной собственности, связанной с IT. В чём различия свидетельства о регистрации программы для ЭВМ, регистрации базы данных, патента на изобретение, на полезную модель. Можно ли запатентовать изобретение в России абсолютно бесплатно.
Что такое нейропакеты и можно ли без программирования создать нейросеть.