Почти вплоть до второй половины 19 века жилые постройки в г. Усть-Каменогорске заканчивались в пределах нынешних улиц им. Орджоникидзе и Ушанова. Это была окраина города, дальше простирался пустырь, который начал застраиваться со стороны Ульбы. В 1899 г. по инициативе политссыльных А.К. Галимонта, Е.П. Михаэлиса, А.Н. Федорова, О.Ф. Костюрина на свободной площади началось создание городского сада. В посадке деревьев принимали участие лесники и лесные объездчики. Работа продолжалась до 1903 г. Посадочный материал — тополь, боярышник, яблони — брали у военного врача Вистениуса, имевшего за городом хороший плодовый сад, известный впоследствии горожанам как Панкратьевский сад. Сад рос медленно, так как за ним никто не ухаживал. На его территории пасся скот, а служители пожарной команды косили сено для лошадей. Когда одному из заезжих артистов показали городской сад, он потом в шутку говорил, что в Усть-Каменогорске на месте сада три куста и три копны сенца.
    К городскому саду примыкал сенной базар, расположенный на углу нынешних улиц им. Ушанова и им. Орджоникидзе, где осуществлялась бойкая торговля сеном, дровами, скотом, зерном, мукой, углем. От него и получил свое название Сенной переулок, который был одним из немногих грязных в городе. Круглый год сюда тянулись повозки с сеном и топливом, скобяными изделиями, керосином и известью, птицей и скотом. Уже в этом веке в доме на углу с улицей большой держал заезжий двор В.И. Ушанов, отец будущего председателя Усть-Каменогорского Совдепа Я.В. Ушанова. В его доме неоднократно под видом вечеринок проходили нелегальные встречи членов большевистской организации.
    В 1937 г. Сенной переулок был переименован в улицу им. Орджоникидзе, видного деятеля советского государства.
Более полувека прошло с той поры. Улица изменилась. Вместо деревянных построек на ней впервые в городе были возведены многоэтажные жилые дома. В 1959 г. по улице пролегли стальные пути, по которым пошли трамваи. Через улицу им. Орджоникидзе город Усть-Каменогорск получил выход на автодорожный и пешеходный мост через Ульбу. Проезжие части и тротуары улицы были заасфальтированы. Расширился, благоустроился и помолодел парк, которому в 1946 г. присвоили имя Джамбула. На месте сенного базара был построен широкоформатный кинотеатр «Юбилейный». До неузнаваемости изменилось начало улицы: на месте базарной площади и лепившихся на квартал от нее торговых лавок разбит сквер, на правой стороне возводятся современные многоэтажные жилые дома.