0

0

如何在Linux中处理JSON Linux jq解析工具入门

P粉602998670

P粉602998670

发布时间:2025-08-31 10:30:03

|

572人浏览过

|

来源于php中文网

原创

答案是jq命令行工具是Linux下处理JSON数据的首选,因其专为JSON设计、语法灵活、性能优异且能无缝集成到shell管道中。它支持从基础字段提取到复杂的数据过滤、转换和重构,如使用select过滤数组、map变换元素、if-then-else条件赋值等,广泛应用于API响应解析、日志处理和自动化脚本,显著提升数据处理效率。

如何在linux中处理json linux jq解析工具入门

在Linux环境中处理JSON数据,最直接、最有效且几乎是唯一的“正确”姿势,就是拥抱

jq
这个命令行工具。它不仅仅是一个解析器,更像是一个小型的JSON数据处理瑞士军刀,能让你在终端里对复杂的JSON结构进行过滤、转换、甚至重构,效率之高,令人惊叹。

要开始使用

jq
,首先得确保你的系统里有它。大多数Linux发行版都可以通过包管理器轻松安装,比如Debian/Ubuntu系的
sudo apt install jq
,或者RedHat/CentOS系的
sudo yum install jq
。安装好之后,它的魔力就藏在简单的管道命令里。

假设我们有一个

data.json
文件:

{
  "name": "Alice",
  "age": 30,
  "isStudent": false,
  "courses": [
    {"title": "Math", "credits": 3},
    {"title": "Physics", "credits": 4}
  ],
  "address": {
    "street": "123 Main St",
    "city": "Anytown"
  }
}

最基础的操作,提取某个字段:

cat data.json | jq .name
输出:
"Alice"

如果你想要一个不带引号的原始字符串,加上

-r
参数(raw output):
cat data.json | jq -r .name
输出:
Alice

访问嵌套字段:

cat data.json | jq .address.city
输出:
"Anytown"

处理数组,提取所有课程的标题:

cat data.json | jq '.courses[].title'
输出:
"Math"
"Physics"

甚至可以创建新的JSON结构,比如只想要名字和年龄:

cat data.json | jq '{userName: .name, userAge: .age}'
输出:

{
  "userName": "Alice",
  "userAge": 30
}

这只是冰山一角,但足以让你感受到

jq
的强大和灵活。

为什么
jq
是Linux命令行下处理JSON的“杀手锏”?

说实话,在我刚接触Linux处理JSON的时候,也曾尝试过

grep
awk
这些老牌工具,但面对JSON那层层嵌套、结构复杂的特性,它们显得力不从心,写出来的脚本又臭又长,还容易出错。直到我遇到了
jq
,才真正体会到什么叫“专业对口”。

jq
之所以能成为Linux下处理JSON的首选,在我看来,主要有几个原因:

它的设计哲学就非常符合Unix工具的精髓——小而精,专注于一件事并做到极致。它只处理JSON,但处理得极其出色。它的语法虽然初看有点像JavaScript,但实际上更像是一种声明式的查询语言,你告诉它你想要什么,它就能给你变出来。

jq
的过滤表达式非常强大和灵活。从简单的字段提取,到复杂的条件判断(
if-else
)、数组迭代(
.[]
)、对象重构,甚至数值计算和字符串操作,它几乎无所不能。这意味着,无论你的JSON数据有多么奇形怪状,
jq
总能找到一种方式帮你把它“驯服”。

慧中标AI标书
慧中标AI标书

慧中标AI标书是一款AI智能辅助写标书工具。

下载

它的性能表现也相当不错。对于几MB、几十MB甚至上百MB的JSON文件,

jq
处理起来依然迅速。这在需要处理大量API响应或日志文件时,尤为关键。我记得有一次,需要从一个巨大的日志文件中提取特定条件的JSON记录,
jq
配合
grep
,几秒钟就搞定了,换作其他方式,估计我得等半天。

最后,也是我最喜欢的一点,

jq
能够无缝地融入到shell脚本中。它的输入和输出都是标准的JSON,这使得它可以非常自然地与其他命令行工具(如
curl
xargs
sed
等)通过管道连接起来,构建出非常强大的自动化流程。这种“管道友好”的特性,让我在编写各种自动化脚本时,效率提升了一大截。它不仅仅是一个工具,更是一种思维方式的转变,让你能以更“JSON原生”的方式思考数据处理。

如何用
jq
进行复杂数据提取与转换?深入解析高级过滤技巧

jq
的魅力远不止于基础的字段提取,它真正强大之处在于其处理复杂数据结构的能力。有时候,我们面对的JSON数据并非扁平的,而是深层嵌套,甚至包含各种条件分支。这时候,
jq
的高级过滤技巧就派上用场了。

比如,我们想从之前的

data.json
中,找出所有学分大于3的课程标题。这需要结合数组迭代和条件判断:
cat data.json | jq '.courses[] | select(.credits > 3) | .title'
这里,
.courses[]
会遍历
courses
数组中的每一个元素(也就是每一个课程对象)。
select(.credits > 3)
则会筛选出
credits
字段值大于3的课程。最后,
.title
提取这些被筛选出来的课程的标题。 输出:
"Physics"

我们还可以用

jq
来对数据进行“整形”,比如将所有课程信息转换成一个更简洁的列表,只包含标题和学分:
cat data.json | jq '.courses | map({courseTitle: .title, courseCredits: .credits})'
map()
函数在这里非常有用,它会对数组中的每个元素应用一个过滤器,然后返回一个新的数组。在这个例子中,它将每个课程对象转换成了一个只包含
courseTitle
courseCredits
的新对象。 输出:

[
  {
    "courseTitle": "Math",
    "courseCredits": 3
  },
  {
    "courseTitle": "Physics",
    "courseCredits": 4
  }
]

有时候,我们需要处理的数据可能存在缺失值,或者需要根据某些条件动态地选择输出。

jq
if-then-else
结构可以很好地应对这种情况。 假设我们想给学生添加一个状态字段,如果年龄小于25,则为“Young”,否则为“Adult”:
cat data.json | jq '. + {status: (if .age < 25 then "Young" else "Adult" end)}'
这里,
.
代表整个输入对象。
+
用于合并对象。
if-then-else
结构根据
.age
的值来决定
status
字段的值。 输出:

{
  "name": "Alice",
  "age": 30,
  "isStudent": false,
  "courses": [
    {
      "title": "Math",
      "credits": 3
    },
    {
      "title": "Physics",
      "credits": 4
    }
  ],
  "address": {
    "street": "123 Main St",
    "city": "Anytown"
  },
  "status": "Adult"
}

这些例子仅仅是抛砖引玉,

jq
还有
group_by
add
length
等一系列内置函数,以及强大的路径表达式,能够应对各种复杂的数据处理需求。掌握这些高级技巧,能让你在数据处理的道路上如虎添翼。我个人在使用
jq
处理API响应时,经常会用到
map
select
来快速过滤和重组数据,这比在脚本语言里手动解析要快得多,也简洁得多。

jq
在自动化脚本和日常运维中的实用案例与常见陷阱

jq
融入到日常的自动化脚本和系统运维中,能够极大地提升工作效率。它不仅仅是一个数据查询工具,更是一个强大的数据转换引擎。

实际应用场景:

  1. API响应解析: 这是我最常用的场景之一。当你使用
    curl
    请求一个RESTful API时,通常会得到一个JSON格式的响应。
    jq
    可以立即帮你提取所需的数据。 例如,从GitHub API获取某个仓库的信息,并提取其星标数量:
    curl -s https://api.github.com/repos/stedolan/jq | jq -r .stargazers_count

相关专题

更多
js获取数组长度的方法
js获取数组长度的方法

在js中,可以利用array对象的length属性来获取数组长度,该属性可设置或返回数组中元素的数目,只需要使用“array.length”语句即可返回表示数组对象的元素个数的数值,也就是长度值。php中文网还提供JavaScript数组的相关下载、相关课程等内容,供大家免费下载使用。

557

2023.06.20

js刷新当前页面
js刷新当前页面

js刷新当前页面的方法:1、reload方法,该方法强迫浏览器刷新当前页面,语法为“location.reload([bForceGet]) ”;2、replace方法,该方法通过指定URL替换当前缓存在历史里(客户端)的项目,因此当使用replace方法之后,不能通过“前进”和“后退”来访问已经被替换的URL,语法为“location.replace(URL) ”。php中文网为大家带来了js刷新当前页面的相关知识、以及相关文章等内容

394

2023.07.04

js四舍五入
js四舍五入

js四舍五入的方法:1、tofixed方法,可把 Number 四舍五入为指定小数位数的数字;2、round() 方法,可把一个数字舍入为最接近的整数。php中文网为大家带来了js四舍五入的相关知识、以及相关文章等内容

754

2023.07.04

js删除节点的方法
js删除节点的方法

js删除节点的方法有:1、removeChild()方法,用于从父节点中移除指定的子节点,它需要两个参数,第一个参数是要删除的子节点,第二个参数是父节点;2、parentNode.removeChild()方法,可以直接通过父节点调用来删除子节点;3、remove()方法,可以直接删除节点,而无需指定父节点;4、innerHTML属性,用于删除节点的内容。

478

2023.09.01

JavaScript转义字符
JavaScript转义字符

JavaScript中的转义字符是反斜杠和引号,可以在字符串中表示特殊字符或改变字符的含义。本专题为大家提供转义字符相关的文章、下载、课程内容,供大家免费下载体验。

454

2023.09.04

js生成随机数的方法
js生成随机数的方法

js生成随机数的方法有:1、使用random函数生成0-1之间的随机数;2、使用random函数和特定范围来生成随机整数;3、使用random函数和round函数生成0-99之间的随机整数;4、使用random函数和其他函数生成更复杂的随机数;5、使用random函数和其他函数生成范围内的随机小数;6、使用random函数和其他函数生成范围内的随机整数或小数。

1031

2023.09.04

如何启用JavaScript
如何启用JavaScript

JavaScript启用方法有内联脚本、内部脚本、外部脚本和异步加载。详细介绍:1、内联脚本是将JavaScript代码直接嵌入到HTML标签中;2、内部脚本是将JavaScript代码放置在HTML文件的`<script>`标签中;3、外部脚本是将JavaScript代码放置在一个独立的文件;4、外部脚本是将JavaScript代码放置在一个独立的文件。

658

2023.09.12

Js中Symbol类详解
Js中Symbol类详解

javascript中的Symbol数据类型是一种基本数据类型,用于表示独一无二的值。Symbol的特点:1、独一无二,每个Symbol值都是唯一的,不会与其他任何值相等;2、不可变性,Symbol值一旦创建,就不能修改或者重新赋值;3、隐藏性,Symbol值不会被隐式转换为其他类型;4、无法枚举,Symbol值作为对象的属性名时,默认是不可枚举的。

554

2023.09.20

AO3中文版入口地址大全
AO3中文版入口地址大全

本专题整合了AO3中文版入口地址大全,阅读专题下面的的文章了解更多详细内容。

1

2026.01.21

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 7.5万人学习

Git 教程
Git 教程

共21课时 | 2.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号