上手protobuf:一文掌握protobuf的使用

news/2024/10/15 14:51:28

简介

在上一篇文章中,我们已经了解了protobuf是什么,还有proto文件该如何编写

在本文中,将着重讲讲protobuf该怎么用

Protobuf使用教程

Protobuf是一种高效数据序列化协议,可支持多种编程语言,不同编程语言使用方法或略有差异、或有多种方法,以下主要介绍大致的、通用的使用方法

安装编译器

使用protobuf前,需先安装其编译器—protoc(下载地址可看文末)

image-20240616232211987

进入项目下载界面,根据自己的系统选择下载合适的版本,如喜欢也可下载源码自行构建

接着将其解压目录中的bin目录配置到系统环境变量内,方便全局使用

配置成功后,可以在命令行窗口(win+R调出)输入protoc --version查看protoc版本,验证是否配置成功

编译Proto

.proto文件并不能直接使用,我们需要将其编译成对应编程语言的序列化工具代码,从而进行使用

这一步,我们需要使用上方安装的protoc.proto文件进行编译,protoc是一个命令行工具,主要使用步骤就是在命令行中通过命令调用protoc对目标进行编译

具体protoc的命令,可在命令行中,通过protoc --help命令,获取其部分命令解释,主要关注如下内容:

-IPATH, --proto_path=PATH   指定搜索目录
--cpp_out=OUT_DIR           生成 C++ 源码
--csharp_out=OUT_DIR        生成 C# 源码
--java_out=OUT_DIR          生成 Java 源码
--kotlin_out=OUT_DIR        生成 Kotlin 源码
--objc_out=OUT_DIR          生成 Objective-C 源码
--php_out=OUT_DIR           生成 PHP 源码
--pyi_out=OUT_DIR           生成 python 源码
--python_out=OUT_DIR        生成 Python 源码
--ruby_out=OUT_DIR          生成 Ruby 源码
--rust_out=OUT_DIR          生成 Rust 源码
  • -IPATH--proto_path可简写为-I,等号后接一个路径,表示模块搜索路径,可以有多个
    • 当你的.proto文件比较庞大,并且在里面有import导入其它proto文件,此时就可以用该命令指定导入文件所在目录,告诉编译器该去哪搜索这些文件
  • --**_out形式的命令参数表示需要生成的目标语言源码,等号后接一个路径,表示生成文件保存的目录,**表示支持生成的编程语言

举个例子

假设我们有个名为example.proto的结构文件,大致如下:

syntax = "proto3";message Student {
string id = 1;
string name = 2;
int32 sex = 3;
int32 age = 4;
string address = 5;
}

在当前目录打开命令行,输入如下命令:

protoc --python_out=. example.proto
  • 命令表示将example.proto编译为python代码,输出目录为.(即当前目录)

命令运行完成后,会在当前目录生成一个example_pb2.py的文件,我们可在python程序内使用它对我们的消息进行序列化和反序列化

再举个例子

我们运行protoc --version后,可以看到命令参数里支持生成的语言并没有js,如果我们想生成js文件怎么办

首先,protoc是可以生成js代码的,之所以前面的不支持,是由于一些高版本的protoc把部分编程语言的支持分化出来,单独作为插件存在,需要可自行安装搭配

  • 可以降低protoc的版本,一些较低的版本是支持--js_out的(高版本将其分化出来成插件了)
  • 如果不想降低版本
    • 如果有npm,可全局安装protoc-gen-js
    • 如果无npm,可以到protobuf-javascript项目地址手动下载js的编译器包并解压到本地,然后通过--plugin指定插件名及插件路径使用;如不想使用--plugin指定,也可直接将解压内容整个拖前面protoc的目录下
  • 也可以使用一些第三方工具,如protobufjs-cliprotobufjs

解决js支持后,即可使用下列代码生成js版本的序列化库

protoc --js_out=import_style=commonjs,binary:. example.proto
  • 上面的命令会将example.proto编译为js内可用的序列化工具代码,风格为commonjs(即使用require导入)

注意:目前尚未实现对ES6样式导入的支持。可以通过使用Browserify、webpack、Closure Compiler 或类似工具来进一步解析以支持浏览器

开始使用

生成好目标环境的编译文件后,我们即可在项目内使用protobuf来提高我们的消息传输效率

Python示例

大致代码如下:

# 从编译文件导入对应消息类
from example_pb2 import Student# 实例化消息类
stu = Student()
# 填充数据
stu.id = "18934305"
stu.name = "路人甲"
stu.sex = 1
stu.age = 18
stu.address = "斗气大陆萧家老宅"
# 序列化为二进制数据
data = stu.SerializeToString()
# 实例化新对象
newStu = Student()
# 将二进制数据解析到新对象
newStu.ParseFromString(data)
# 输出
print(f"序列化后数据:\n{data}")
print(f"反序列化后数据:\n{newStu}")
  • 其中,example_pb2为之前example.proto编译后的产物
  • 经过测试,上面的数据stu序列化后的二进制数据大小大概为84字节,而相同数据的json格式大小为210字节

在使用上方生成的example_pb2时,我们会发现,生成的代码基本不可读,使用过程代码也没有丝毫智能提示,需要自己参照proto文件才知道需导入该Student,而具体的序列化函数还得看使用文档

我们打开example_pb2.py文件,如下:

image-20240617195016241

  • 不难看出,代码可读性是比较差的

通过官方的protoc生成的python格式代码可读性是比较差的,可能比较适合一些保密需求高或小型项目,如果我们希望提高代码可读性,可以使用betterproto生成代码

  • 首先,需要安装betterproto,使用pip安装
pip install betterproto
  • 接着使用其重新编译proto文件
protoc --python_betterproto_out=. example.proto
  • 命令运行成功后,会在当前目录生成一个example.py文件,内容大致如下:

    image-20240617195507963

  • 可以看出,代码可读性变好了很多,并且拥有更好的编写体验,大致使用代码如下:

# 从编译文件导入对应消息类
from example import Student# 实例化消息类
stu = Student()
# 填充数据
stu.id = "18934305"
stu.name = "路人甲"
stu.sex = 1
stu.age = 18
stu.address = "斗气大陆萧家老宅"
# 序列化为二进制数据
data = bytes(stu)
# 实例化新对象
newStu = Student()
# 将二进制数据解析到新对象
newStu.parse(data)

Nodejs示例

大致代码如下:

// 导入编译文件
const proto = require('./example_pb');// 实例化消息类
const stu = new proto.Student();
// 填充数据
stu.setId('18934305');
stu.setName('路人甲');
stu.setSex(1);
stu.setAge(18);
stu.setAddress('斗气大陆萧家老宅');
// 序列化为二进制数据
const data = stu.serializeBinary();
// 将二进制数据解析到新对象
const newStu = proto.Student.deserializeBinary(data);
// 输出
console.log(`序列化后数据:\n${data}`);
console.log(`反序列化后数据:\n${newStu}`);

以上主要举例了两种使用方法,更多的使用方法可自行探索

protoc下载地址:https://github.com/protocolbuffers/protobuf/releases

protoc编译js文档:https://protobuf.dev/protobuf-javascript/

protoc编译js插件下载地址:https://github.com/protocolbuffers/protobuf-javascript/releases

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.ryyt.cn/news/71839.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈,一经查实,立即删除!

相关文章

预算不变,数据安全大升级!揭秘TRAID+的神奇之处

假期过后,公司弥漫着一股低沉的气息,公司的CTO,小威,正面对着一个令人头疼的问题——如何在不增加预算的情况下,提高公司的数据安全性。 如今各种勒索病毒层出不穷,或是因为硬盘的损坏或者员工的马虎使数据丢失都会让公司损失巨大。 俗话说鸡蛋不要放在一个篮子里。面对着…

第六章

学号3020 6.2点击查看代码 edges = [ ("Pe", "T", 13), ("Pe", "N", 68), ("Pe", "M", 78), ("Pe", "L", 51), ("Pe", "Pa", 51), ("T", "N"…

FingersGestures 简介

FingersGestures 简介 FingersGestures为官方推荐手势插件,主要用于替代EasyTouch,EasyTouch很多年没有更新了,并且已经在官方资产商店下架,FingersGestures插件在官方商店具有很高的热度和持续的版本迭代,以及提供了二十多个实例进行参考,后续考虑项目中都使用此插件。 …

TextMeshPro

简介支持图文混排和矢量字体图文混排使用需要开启RichText 需要挂载SpriteAsset(不挂载的情况下,使用默认的spriteAsset) 使用下标来显示没有设置spriteAsset的情况设置了spriteAsset的情况

TowardsDataScience-博客中文翻译-2020-五十五-

TowardsDataScience 博客中文翻译 2020(五十五)原文:TowardsDataScience Blog 协议:CC BY-NC-SA 4.0GPT-3,OpenAI 的革命原文:https://towardsdatascience.com/gpt-3-openais-revolution-f549bf3d4b25?source=collection_archive---------43-----------------------来源…

约80%开发效率提升,原生鸿蒙政务、文旅行业样板间专区上线

10月8日,华为官方正式宣布,其最新操作系统HarmonyOS NEXT于当日10:08正式开启公测。 为有效助力开发者加速行业应用开发,华为开发者联盟生态市场(简称生态市场)近日上线了原生鸿蒙政务行业、文旅行业“样板间”专区。政务和文旅行业作为数字化转型的重要领域,对数智应用的…

TowardsDataScience-博客中文翻译-2020-四十五-

TowardsDataScience 博客中文翻译 2020(四十五)原文:TowardsDataScience Blog 协议:CC BY-NC-SA 4.0基于 Avro 模式的类固醇弹性研究原文:https://towardsdatascience.com/elasticsearch-on-steroids-with-avro-schemas-3bfc483e3b30?source=collection_archive---------…

一站实现高效开发,鸿蒙生态伙伴模板组件专区全新上线

10月8日,华为官方正式宣布,其最新操作系统HarmonyOS NEXT于当日10:08正式开启公测。 鸿蒙生态的发展离不开丰富的鸿蒙原生应用,为了有效提升开发者开发效率,降低开发成本,华为开发者联盟生态市场近日上线了“鸿蒙生态伙伴模板&组件专区”,汇聚官方及三方生态伙伴针对政务…