Branch data Line data Source code
1 : : // SPDX-License-Identifier: GPL-2.0
2 : : /* Multipath TCP
3 : : *
4 : : * Copyright (c) 2022, SUSE.
5 : : */
6 : :
7 : : #define pr_fmt(fmt) "MPTCP: " fmt
8 : :
9 : : #include <linux/kernel.h>
10 : : #include <linux/module.h>
11 : : #include <linux/list.h>
12 : : #include <linux/rculist.h>
13 : : #include <linux/spinlock.h>
14 : : #include "protocol.h"
15 : :
16 : : static DEFINE_SPINLOCK(mptcp_sched_list_lock);
17 : : static LIST_HEAD(mptcp_sched_list);
18 : :
19 : 0 : static int mptcp_sched_default_get_send(struct mptcp_sock *msk,
20 : : struct mptcp_sched_data *data)
21 : : {
22 : 0 : struct sock *ssk;
23 : :
24 : 0 : ssk = mptcp_subflow_get_send(msk);
25 [ + + - - ]: 396638 : if (!ssk)
26 : : return -EINVAL;
27 : :
28 : 0 : mptcp_subflow_set_scheduled(mptcp_subflow_ctx(ssk), true);
29 : 0 : return 0;
30 : : }
31 : :
32 : 0 : static int mptcp_sched_default_get_retrans(struct mptcp_sock *msk,
33 : : struct mptcp_sched_data *data)
34 : : {
35 : 0 : struct sock *ssk;
36 : :
37 : 0 : ssk = mptcp_subflow_get_retrans(msk);
38 [ + + - - ]: 1954 : if (!ssk)
39 : : return -EINVAL;
40 : :
41 : 0 : mptcp_subflow_set_scheduled(mptcp_subflow_ctx(ssk), true);
42 : 0 : return 0;
43 : : }
44 : :
45 : : static struct mptcp_sched_ops mptcp_sched_default = {
46 : : .get_send = mptcp_sched_default_get_send,
47 : : .get_retrans = mptcp_sched_default_get_retrans,
48 : : .name = "default",
49 : : .owner = THIS_MODULE,
50 : : };
51 : :
52 : : /* Must be called with rcu read lock held */
53 : 2630 : struct mptcp_sched_ops *mptcp_sched_find(const char *name)
54 : : {
55 : 2630 : struct mptcp_sched_ops *sched, *ret = NULL;
56 : :
57 [ + + - + : 2780 : list_for_each_entry_rcu(sched, &mptcp_sched_list, list) {
- - - - -
- + + ]
58 [ + + ]: 2716 : if (!strcmp(sched->name, name)) {
59 : : ret = sched;
60 : : break;
61 : : }
62 : : }
63 : :
64 : 2630 : return ret;
65 : : }
66 : :
67 : : /* Build string with list of available scheduler values.
68 : : * Similar to tcp_get_available_congestion_control()
69 : : */
70 : 8 : void mptcp_get_available_schedulers(char *buf, size_t maxlen)
71 : : {
72 : 8 : struct mptcp_sched_ops *sched;
73 : 8 : size_t offs = 0;
74 : :
75 : 8 : rcu_read_lock();
76 [ + + - + : 16 : list_for_each_entry_rcu(sched, &mptcp_sched_list, list) {
- - - - -
- + + ]
77 : 16 : offs += snprintf(buf + offs, maxlen - offs,
78 : : "%s%s",
79 [ - + ]: 8 : offs == 0 ? "" : " ", sched->name);
80 : :
81 [ - + + - ]: 8 : if (WARN_ON_ONCE(offs >= maxlen))
82 : : break;
83 : : }
84 : 8 : rcu_read_unlock();
85 : 8 : }
86 : :
87 : 34 : int mptcp_register_scheduler(struct mptcp_sched_ops *sched)
88 : : {
89 [ + - ]: 34 : if (!sched->get_send)
90 : : return -EINVAL;
91 : :
92 : 34 : spin_lock(&mptcp_sched_list_lock);
93 [ - + ]: 34 : if (mptcp_sched_find(sched->name)) {
94 : 0 : spin_unlock(&mptcp_sched_list_lock);
95 : 0 : return -EEXIST;
96 : : }
97 : 34 : list_add_tail_rcu(&sched->list, &mptcp_sched_list);
98 : 34 : spin_unlock(&mptcp_sched_list_lock);
99 : :
100 [ - + ]: 34 : pr_debug("%s registered\n", sched->name);
101 : : return 0;
102 : : }
103 : :
104 : 30 : void mptcp_unregister_scheduler(struct mptcp_sched_ops *sched)
105 : : {
106 [ + - ]: 30 : if (sched == &mptcp_sched_default)
107 : : return;
108 : :
109 : 30 : spin_lock(&mptcp_sched_list_lock);
110 : 30 : list_del_rcu(&sched->list);
111 : 30 : spin_unlock(&mptcp_sched_list_lock);
112 : : }
113 : :
114 : 4 : void mptcp_sched_init(void)
115 : : {
116 : 4 : mptcp_register_scheduler(&mptcp_sched_default);
117 : 4 : }
118 : :
119 : 3692 : int mptcp_init_sched(struct mptcp_sock *msk,
120 : : struct mptcp_sched_ops *sched)
121 : : {
122 [ - + ]: 3692 : if (!sched)
123 : 0 : sched = &mptcp_sched_default;
124 : :
125 [ + - ]: 3692 : if (!bpf_try_module_get(sched, sched->owner))
126 : : return -EBUSY;
127 : :
128 : 3692 : msk->sched = sched;
129 [ + + ]: 3692 : if (msk->sched->init)
130 : 90 : msk->sched->init(msk);
131 : :
132 [ - + ]: 3692 : pr_debug("sched=%s\n", msk->sched->name);
133 : :
134 : : return 0;
135 : : }
136 : :
137 : 3614 : void mptcp_release_sched(struct mptcp_sock *msk)
138 : : {
139 : 3614 : struct mptcp_sched_ops *sched = msk->sched;
140 : :
141 [ + - ]: 3614 : if (!sched)
142 : : return;
143 : :
144 : 3614 : msk->sched = NULL;
145 [ + + ]: 3614 : if (sched->release)
146 : 90 : sched->release(msk);
147 : :
148 : 3614 : bpf_module_put(sched, sched->owner);
149 : : }
150 : :
151 : 316932 : void mptcp_subflow_set_scheduled(struct mptcp_subflow_context *subflow,
152 : : bool scheduled)
153 : : {
154 : 0 : WRITE_ONCE(subflow->scheduled, scheduled);
155 : 836273 : }
156 : :
157 : 196305 : static void mptcp_sched_data_set_contexts(const struct mptcp_sock *msk,
158 : : struct mptcp_sched_data *data)
159 : : {
160 : 196305 : struct mptcp_subflow_context *subflow;
161 : 196305 : int i = 0;
162 : :
163 [ + + ]: 588413 : mptcp_for_each_subflow(msk, subflow) {
164 [ - + ]: 392108 : if (i == MPTCP_SUBFLOWS_MAX) {
165 [ # # # # ]: 0 : pr_warn_once("too many subflows");
166 : : break;
167 : : }
168 : 392108 : mptcp_subflow_set_scheduled(subflow, false);
169 : 392108 : data->contexts[i++] = subflow;
170 : : }
171 : 196305 : data->subflows = i;
172 : :
173 [ + + ]: 1374637 : for (; i < MPTCP_SUBFLOWS_MAX; i++)
174 : 1178332 : data->contexts[i] = NULL;
175 : 196305 : }
176 : :
177 : 650011 : int mptcp_sched_get_send(struct mptcp_sock *msk)
178 : : {
179 : 650011 : struct mptcp_subflow_context *subflow;
180 : 650011 : struct mptcp_sched_data data;
181 : :
182 : 650011 : msk_owned_by_me(msk);
183 : :
184 : : /* the following check is moved out of mptcp_subflow_get_send */
185 [ + + ]: 650011 : if (__mptcp_check_fallback(msk)) {
186 [ + - + - ]: 74204 : if (msk->first &&
187 [ + + ]: 55830 : __tcp_can_send(msk->first) &&
188 [ # # ]: 37102 : sk_stream_memory_free(msk->first)) {
189 : 31973 : mptcp_subflow_set_scheduled(mptcp_subflow_ctx(msk->first), true);
190 : 31973 : return 0;
191 : : }
192 : 5129 : return -EINVAL;
193 : : }
194 : :
195 [ + + ]: 1711274 : mptcp_for_each_subflow(msk, subflow) {
196 [ + + + + ]: 1121378 : if (READ_ONCE(subflow->scheduled))
197 : : return 0;
198 : : }
199 : :
200 [ + + - + ]: 589896 : if (msk->sched == &mptcp_sched_default || !msk->sched)
201 : 793276 : return mptcp_sched_default_get_send(msk, &data);
202 : 193258 : mptcp_sched_data_set_contexts(msk, &data);
203 : 193258 : return msk->sched->get_send(msk, &data);
204 : : }
205 : :
206 : 11298 : int mptcp_sched_get_retrans(struct mptcp_sock *msk)
207 : : {
208 : 11298 : struct mptcp_subflow_context *subflow;
209 : 11298 : struct mptcp_sched_data data;
210 : :
211 : 11298 : msk_owned_by_me(msk);
212 : :
213 : : /* the following check is moved out of mptcp_subflow_get_retrans */
214 [ + + ]: 11298 : if (__mptcp_check_fallback(msk))
215 : : return -EINVAL;
216 : :
217 [ + + ]: 14777 : mptcp_for_each_subflow(msk, subflow) {
218 [ + + + + ]: 9776 : if (READ_ONCE(subflow->scheduled))
219 : : return 0;
220 : : }
221 : :
222 [ + + + + ]: 5001 : if (msk->sched == &mptcp_sched_default || !msk->sched)
223 : 3908 : return mptcp_sched_default_get_retrans(msk, &data);
224 : :
225 : 3047 : mptcp_sched_data_set_contexts(msk, &data);
226 [ + + ]: 3047 : if (msk->sched->get_retrans)
227 : 3 : return msk->sched->get_retrans(msk, &data);
228 : 3044 : return msk->sched->get_send(msk, &data);
229 : : }
|
