只需三分钟，让大家都能体验到AI写文章的乐趣！-阿里云开发者社区

只需三分钟，让大家都能体验到AI写文章的乐趣！

2023-05-30 172

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 只需三分钟，让大家都能体验到AI写文章的乐趣！

申请GPU服务器

这里我发现了一个能白嫖的GPU服务器：

https://www.autodl.com

注册送10块钱，只需要申请一个便宜点的GPU就行了，几毛钱每小时。但一定要注意了，如果用的是int8量化模型，一定要选择计算能力>=7.5的显卡！下面的表格可以查看NVIDIA所有显卡的计算能力：

https://en.wikipedia.org/wiki/CUDA

服务端部署

按照之前的教程，训练并导出模型之后，就可以用LightSeq进行部署了。

用ssh连接服务器之后，安装一些必要的python库：

pip3 install lightseq transformers

然后就可以开始部署了，下面是一个简单的服务端代码。这个代码从6006端口接收用户请求，然后转换成id，送给LightSeq推理，最后还原成文本，发送回去。

import os
import socket
import threading
import time
from transformers import BertTokenizer
import lightseq.inference as lsi
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.bind(('127.0.0.1', 6006))
s.listen(5)
os.system("wget -nc https://zenodo.org/record/7233565/files/aiai97.hdf5")
tokenizer = BertTokenizer.from_pretrained("uer/gpt2-chinese-cluecorpussmall")
model = lsi.QuantGpt("aiai97.hdf5", 16)
def tcplink(sock, addr):
    print('Accept new connection from %s:%s...' % addr)
    while True:
        data = sock.recv(1024)
        if not data or len(data.decode('utf-8')) <= 0:
            break
        time.sleep(1)
        print(data.decode('utf-8'))
        inputs_ids = tokenizer([data.decode('utf-8')], return_tensors="pt", padding=True)["input_ids"]
        ls_res_ids = model.sample(inputs_ids)
        ls_res = tokenizer.batch_decode(ls_res_ids, skip_special_tokens=True)
        res = ''.join(ls_res[0].split())
        print(res)
        sock.send(res.encode('utf-8'))
    sock.close()
    print('Connection from %s:%s closed.' % addr)
while True:
    sock, addr = s.accept()
    t = threading.Thread(target=tcplink, args=(sock, addr))
    t.start()

客户端请求

然后任何人就可以使用起来啦！控制台可以看到公网域名和端口号：

然后在任意电脑上，用下面代码就可以请求啦：

import socket
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect(('region-4.autodl.com', 40977))
s.send(input("请输入句子前缀：\n").encode('utf-8'))
print(s.recv(1024).decode('utf-8', 'ignore'))
s.close()

注意这里的域名和端口号改成你自己的，然后运行得到结果：

网页互动

如果你觉得命令行黑漆漆的不方便，那也可以做一个网页，给别人更好的体验！

首先安装gradio库：

pip3 install gradio

然后客户端代码改成下面这样就行了：

import socket
import gradio as gr
def predict(text):
    s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    s.connect(('region-4.autodl.com', 40977))
    s.send(text.encode('utf-8'))
    res = s.recv(1024).decode('utf-8', 'ignore')
    s.close()
    return res
gr.Interface(fn=predict,
             inputs=["text"],
             outputs=["text"]).launch(share=True)