Вы, вероятно, заметили генеративные инструменты искусственного интеллекта, такие как Google Gemini и ChatGPT, проникающие в большинство технологий, которыми мы пользуемся каждый день. Эти инструменты основаны на гигантских моделях языка, или LLMs: сетях, обученных на огромных объемах человеческих данных, чтобы они могли выдавать реалистичный текст, изображения или видео.
Вам не нужно облачное приложение, чтобы получить доступ к этим LLM, вы также можете запустить их на своем собственном компьютере. Вы можете воспользоваться всем, что эти модели предлагают, даже когда вы находитесь в автономном режиме, и вам не нужно передавать свои запросы и разговоры подобным компаниям, как Google или OpenAI.
Теперь Nvidia запустила свое собственное приложение LLM для локального использования — используя мощь своих графических карт серии RTX 30 и RTX 40 — под названием Chat with RTX. Если у вас есть одна из этих видеокарт, вы можете установить генеративного чат-бота прямо на свой компьютер и настроить его под свои потребности.
with Russian language
Как начать изучать русский язык?
Перед тем, как начать, убедитесь, что у вас установлены последние драйверы для вашей видеокарты Nvidia — приложение GeForce Experience на вашем компьютере поможет вам с этим — затем перейдите на страницу загрузки Chat with RTX. Чтобы запустить инструмент, вам понадобятся Windows 11, видеокарта серии GeForce RTX 30/40 (или RTX Ampere или Ada Generation с объемом памяти не менее 8 ГБ) и не менее 16 ГБ оперативной памяти.
Имейте в виду, что Nvidia называет это «демонстрационным приложением», что, как мы предполагаем, означает, что оно еще не в полностью завершенной форме (и вы можете столкнуться с некоторыми ошибками и неполадками в результате). Также это достаточно крупный загрузочный файл, размером около 35 ГБ, так как включает в себя несколько LLM-файлов — это стоит учитывать, если у вас ограниченное пространство на диске или медленный интернет. Инструмент установки также занимает некоторое время на завершение всех задач.
Чат с RTX запускается с вашего компьютера. Кредит: Lifehacker
В конце концов, вы должны найти приложение Chat with RTX в своем меню «Пуск». Запустите его, и через несколько моментов обработки интерфейс программы появится в вашем браузере по умолчанию. В верхнем левом углу вы можете выбрать открытую модель искусственного интеллекта, которую хотите использовать: Mistral или Llama. Сделав это, вы можете начать отправлять запросы, как вы бы делали с ChatGPT или Google Gemini.
Если вы уже использовали LLM раньше, то вы знаете, на что способны эти генеративные искусственные интеллекты: получайте помощь в написании электронных писем, документов, текстовых сообщений и многое другое, или упрощайте сложные темы, или задавайте вопросы, на которые вы в противном случае могли бы искать в интернете (например, «какая хорошая игра для вечеринки для четырех взрослых?»).
Приложение держит открытым окно командной строки. Кредит: Lifehacker
Применяются стандартные правила для ботов искусственного интеллекта — старайтесь быть максимально конкретными и подробными, и будьте осторожны слишком доверять полученным ответам (особенно в качестве «демо»). Чат с RTX не может искать текущую информацию в Интернете, поэтому он не очень подходит для предоставления ответов, которые должны быть актуальными, но он всегда будет пытаться дать вам ответ на основе огромного количества онлайн-текста, на котором он был обучен.
Внизу интерфейса у вас есть кнопка для создания нового ответа на последний запрос (если вы не слишком довольны текущим), кнопка отмены (для возврата к предыдущему запросу) и кнопка удаления чата, которая очистит историю вашего разговора, чтобы вы могли начать сначала. В данный момент нет способа экспортировать ответы, кроме как копировать и вставлять текст.
Добавление собственных данных и видеороликов на YouTube
Даже в этой ранней форме, Чат с RTX имеет несколько полезных хитростей, одна из которых — способность основывать свои ответы на предоставленных вами документах: может быть, неделя исследований, или серия отчетов, которые вам нужно проанализировать, или даже все фанфики, которые вы писали. Под заголовком «Набор данных» выберите путь к папке, затем направьте программу к папке, содержащей документы, которые вы хотите использовать.
Приложение будет сканировать папку, на которую вы указали — это может занять минуту или две, если в ней много файлов — и затем вы можете свободно начать вводить свои запросы. Бот будет сканировать текст, искать подходящие ответы, а затем называть файл(ы), которые использовались в конце ответа. Вы можете просить о кратком изложении, проверять факты или попросить бота сгенерировать новый текст на основе того, что вы ему подали.
Чат с RTX может работать с вашими собственными файлами тоже. Кредит: Lifehacker
Еще раз, чтобы повторить, это ранняя версия технологии, которая известна как менее чем на 100 процентов точная — это не то, на чем вы хотите основывать решения в зале совета директоров. Тем не менее, это забавно играть с LLM, который может работать с документами, которые вы ему даете, будь то интервью или тома поэзии.
Говоря о транскрипциях, Чат с RTX также способен анализировать видео на YouTube и предлагать ответы на их основе через транскрипты, связанные с клипами. (Основываясь на проведенных нами тестах, он может автоматически генерировать транскрипты для видео, которые их еще не имеют.) Это даже работает с целыми плейлистами на YouTube, так что вы можете запустить программу через всю серию клипов одновременно.
Вы также можете указать программу на видеоролики на YouTube. Кредит: Lifehacker
Выберите URL-адрес YouTube в качестве набора данных, затем вставьте адрес видео или плейлиста в поле ниже. Если вы работаете с плейлистом, вы можете указать количество видео, которые хотите включить в него в поле справа. Наконец, нажмите кнопку загрузки справа, и Chat with RTX загрузит и обработает текст транскрипции, готовый к любым запросам, которые у вас могут быть.
Как и с функцией сканирования документов, это может быть полезно для получения кратких сводок или выделения важной информации, но мы обнаружили, что это самая ошибочная часть программы для использования — программы, которая, справедливости ради, помечена как версия 0.2. Приложение иногда путалось о том, на какое видео мы ссылаемся, но если вам нужны быстрые ответы на длинные видео и плейлисты, которые у вас нет времени смотреть, то Chat with RTX может быть полезным инструментом для попробовать.
