（1）当$k=3$时，函数$y=2x+1$是一次函数.
$\because$一次函数$y=2x+1$与$x$轴有一个交点，
$\therefore k=3$.

$(2)$当$k\neq 3$时，$y=\left(k-3\right)x^{2}+2x+1$是二次函数.
$\because$二次函数$y=\left(k-3\right)x^{2}+2x+1$的图象与$x$轴有交点，
$\therefore b^{2}-4ac\geqslant 0$.
$\because b^{2}-4ac=2^{2}-4\left(k-3\right)=-4k+16$，
$\therefore -4k+16\geqslant 0$.
$\therefore k\leqslant 4$且$k\neq 3$.
综合$\left(1\right)\left(2\right)$可知，$k$的取值范围是$k\leqslant 4$.

（1）当$k=3$时，函数$y=2x+1$是一次函数.
$\because$一次函数$y=2x+1$与$x$轴有一个交点，
$\therefore k=3$.

$(2)$当$k\neq 3$时，$y=\left(k-3\right)x^{2}+2x+1$是二次函数.
$\because$二次函数$y=\left(k-3\right)x^{2}+2x+1$的图象与$x$轴有交点，
$\therefore b^{2}-4ac\geqslant 0$.
$\because b^{2}-4ac=2^{2}-4\left(k-3\right)=-4k+16$，
$\therefore -4k+16\geqslant 0$.
$\therefore k\leqslant 4$且$k\neq 3$.
综合$\left(1\right)\left(2\right)$可知，$k$的取值范围是$k\leqslant 4$.